[논문 리뷰] Random deep neural networks are biased towards simple functions

Giacomo De Palma, Bobak T. Kiani외 1명|arXiv (Cornell University)|2018. 12. 25.

Machine Learning and Algorithms인용 수 30

한 줄 요약

이 논문은 ReLU 활성화를 가진 랜덤 딥 네ural 네트워크가 입력 변화에 높은 내성성을 보이기 때문에 비트 스트링의 단순한 이진 분류기로 편향됨을 증명한다: 평균 히빙거 거리(가장 가까운 다른 분류를 받는 입력까지의 거리)는 √(n/(2π ln n))로 증가하고, 분류를 바꾸는 데 필요한 랜덤 비트 플립의 평균 수는 n에 선형적으로 증가한다. 이는 랜덤 네트워크가 단순하고 안정적인 함수를 선호함을 보여주며, 딥 러닝의 일반화 성공에 대한 이론적 기반을 제공한다.

ABSTRACT

We prove that the binary classifiers of bit strings generated by random wide deep neural networks with ReLU activation function are biased towards simple functions. The simplicity is captured by the following two properties. For any given input bit string, the average Hamming distance of the closest input bit string with a different classification is at least sqrt(n / (2π log n)), where n is the length of the string. Moreover, if the bits of the initial string are flipped randomly, the average number of flips required to change the classification grows linearly with n. These results are confirmed by numerical experiments on deep neural networks with two hidden layers, and settle the conjecture stating that random deep neural networks are biased towards simple functions. This conjecture was proposed and numerically explored in [Valle Pérez et al., ICLR 2019] to explain the unreasonably good generalization properties of deep learning algorithms. The probability distribution of the functions generated by random deep neural networks is a good choice for the prior probability distribution in the PAC-Bayesian generalization bounds. Our results constitute a fundamental step forward in the characterization of this distribution, therefore contributing to the understanding of the generalization properties of deep learning algorithms.

연구 동기 및 목표

• 랜덤 딥 네ural 네트워크가 단순한 함수로 편향됨을 엄밀하게 입증함으로써 딥 러닝 이론에서 오랫동안 제기된 추측을 해결하는 것.
• 히빙거 거리와 비트 플립 내성성과 같은 정보 이론적 및 기하학적 측도를 사용하여 랜덤 딥 네트워크의 기능적 단순성을 특성화하는 것.
• 랜덤 딥 네트워크에서 생성된 함수의 분포를 PAC-베이지안 일반화 경계에서 사전 분포로 사용할 수 있는 이론적 기반을 제공하는 것.
• 높은 용량에도 불구하고 딥 러닝이 잘 일반화되는 이유를 밝히기 위해, 랜덤 네트워크가 본질적으로 단순하고 안정적인 함수를 선호함을 보여주는 것.

제안 방법

• 가우시안 프로세스 근사와 극값 통계를 사용하여, 가장 가까운 다른 분류를 받는 입력 비트 스트링까지의 기대 히빙거 거리를 분석적으로 유도하는 것.
• ReLU 활성화와 랜덤 가중치 초기화로부터 유도된 공분산 함수를 가진 가우시안 프로세스로 네트워크 출력을 모델링하는 것.
• 컬록-레이블리프-레이블리프 거리와 PAC-베이지안 프레임워크를 사용하여, 랜덤 네트워크가 생성하는 함수의 사전 분포를 수학적으로 정식화하는 것.
• 코모고로프 연속성 정리를 적용하여 한계 가우시안 프로세스의 연속성을 증명하고, 이를 통해 영점 교차 시간 분석이 가능하도록 하는 것.
• 두 은닉층을 가진 네트워크에서 수치 실험을 수행하여 이론적 예측의 히빙거 거리와 비트 플립 내성성에 대한 검증을 수행하는 것.
• 경험적 평가에서 가장 가까운 다른 분류를 받는 입력을 계산하기 위해 히우리스틱 및 정확한 검색 알고리즘을 사용하는 것.

실험 결과

연구 질문

• RQ1 이전 연구에서 제기된 바와 같이, ReLU 활성화를 가진 랜덤 딥 네트워크는 단순한 함수로 편향되는가?
• RQ2 랜덤 딥 네트워크에서 랜덤 입력 비트 스트링에서 가장 가까운 다른 분류를 받는 입력까지의 평균 히빙거 거리는 얼마인가?
• RQ3 랜덤 딥 네트워크에서 입력 길이 n에 따라 분류를 바꾸는 데 필요한 랜덤 비트 플립의 평균 수는 어떻게 스케일링되는가?
• RQ4 입력 변화에 대한 내성성과 같은 기하학적 및 확률적 측도를 사용하여, 랜덤 딥 네트워크의 기능적 단순성을 정량화할 수 있는가?
• RQ5 랜덤 딥 네트워크에서 생성된 함수의 분포는 PAC-베이지안 일반화 경계에서 적절한 사전 분포로 사용될 수 있는가?

주요 결과

• 큰 n에 대해, 가장 가까운 다른 분류를 받는 입력 비트 스트링까지의 평균 히빙거 거리는 최소 √(n/(2π ln n))이며, 이는 입력 변화에 대한 높은 내성성을 나타낸다.
• 분류를 바꾸는 데 필요한 랜덤 비트 플립의 평균 수는 n에 선형적으로 증가하며, 시뮬레이션 결과는 약 n/3의 스케일링을 보이며, 이는 n/4의 하한선보다 훨씬 높다.
• 반면에 균일하게 랜덤한 이진 분류기는 평균 히빙거 거리가 1이며, 분류를 바꾸는 데 단지 2회의 랜덤 비트 플립만 필요하다. 이는 복잡성 면에서 근본적인 차이를 보여준다.
• 이론적 분석은 랜덤 딥 네트워크가 본질적으로 단순하고 안정적인 함수를 생성함을 확인하며, 단순성 편향에 대한 추측을 지지한다.
• ReLU 활성화를 가진 두 은닉층 네트워크에서의 수치 실험은 다양한 입력 크기와 네트워크 인스턴스에서 이론적 예측이 잘 맞는다는 것을 확인한다.
• 랜덤 딥 네트워크에서 생성된 함수의 확률 분포는 그 자체의 단순성과 내성성 덕분에, PAC-베이지안 일반화 경계에서의 사전 분포로 강력한 후보로 나타났다.