[논문 리뷰] Neural networks are a priori biased towards Boolean functions with low entropy

Chris Mingard, Joar Skalse외 4명|arXiv (Cornell University)|2019. 09. 25.

Neural Networks and Applications참고 문헌 31인용 수 11

한 줄 요약

이 논문은 무작위 가중치 초기화를 가진 단일층 퍼셉트론이 엔트로피가 낮은 부울 함수에 강한 사전 확률적 편향을 보임을 증명한다 — 특히 t개의 입력을 1로 분류하는 함수의 확률이 모든 t < 2^n에 대해 일률적으로 2^(-n)임을 보여준다. 이와 같은 내재된 편향은 ReLU 레이어를 추가할수록 단조롭게 강화되며, 과다 매개변수화된 환경에서 신경망의 일반화를 뒷받침하는 근본적인 인덕티브 편향을 드러낸다.

ABSTRACT

Understanding the inductive bias of neural networks is critical to explaining their ability to generalise. Here, for one of the simplest neural networks -- a single-layer perceptron with n input neurons, one output neuron, and no threshold bias term -- we prove that upon random initialisation of weights, the a priori probability $P(t)$ that it represents a Boolean function that classifies t points in ${0,1}^n$ as 1 has a remarkably simple form: $P(t) = 2^{-n}$ for $0\leq t &lt; 2^n$. Since a perceptron can express far fewer Boolean functions with small or large values of t (low entropy) than with intermediate values of t (high entropy) there is, on average, a strong intrinsic a-priori bias towards individual functions with low entropy. Furthermore, within a class of functions with fixed t, we often observe a further intrinsic bias towards functions of lower complexity. Finally, we prove that, regardless of the distribution of inputs, the bias towards low entropy becomes monotonically stronger upon adding ReLU layers, and empirically show that increasing the variance of the bias term has a similar effect.

연구 동기 및 목표

• 초기화 시 함수에 대한 사전 확률 분포를 분석함으로써 신경망의 인덕티브 편향을 이해하기 위해
• 과다 매개변수화된 환경에서도 깊은 신경망이 잘 일반화되는 이유를 매개변수-함수 맵에 초점을 맞춰 조사하기 위해
• 아키텍처 선택 — 예를 들어 ReLU 레이어 추가 또는 편향 분산 조정 — 이 엔트로피가 낮은 함수에 대한 편향에 어떤 영향을 미치는지 정량화하기 위해
• 이러한 편향이 희귀 클래스 탐지에 더 잘 맞을 수 있는 클래스 불균형 설정에서 학습에 어떤 영향을 미치는지 탐색하기 위해

제안 방법

• 무작위 가중치 초기화 하에 단일층 퍼셉트론이 t개의 입력을 1로 분류하는 부울 함수를 표현할 사전 확률 P(t) = 2^(-n)을 정확히 유도한다.
• 기하학적 및 조합론적 추론을 통해 낮은 t(낮은 엔트로피) 함수는 중간 t 함수에 비해 지수적으로 적지만, 균일한 P(t) 덕분에 사전에 동일한 확률을 가짐을 보여준다.
• ReLU 레이어를 추가하면 엔트로피가 낮은 함수에 대한 편향이 입력 분포에 관계없이 단조롭게 증가함을 분석적으로 증명한다.
• 편향 항의 분산이 엔트로피 편향에 미치는 영향을 실험적으로 조사하여, 분산을 증가시킬수록 엔트로피가 낮은 함수에 대한 편향이 강화됨을 보였다.
• MNIST 및 EMNIST 데이터셋에서 편향 항을 이동시켜 초기 함수 엔트로피를 조절하고, 테스트 정확도와 민감도를 측정하는 실험을 수행하였다.
• 깊은 네트워크에서 함수 공간의 편향을 연구하기 위해 가우시안 프로세스 근사를 적용하였으며, 이론적 결과와 일치하는 스케일링 행동을 관찰하였다.

실험 결과

연구 질문

• RQ1 무작위 초기화된 단일층 퍼셉트론이 부울 함수를 분류할 때 t개의 입력을 1로 분류할 사전 확률 분포는 어떻게 되는가?
• RQ2 낮은 엔트로피 함수가 조합적으로 희귀한데도 불구하고, 왜 신경망이 엔트로피가 낮은 함수에 강한 인덕티브 편향을 보이는가?
• RQ3 ReLU 레이어를 추가하면 엔트로피가 낮은 함수에 대한 인덕티브 편향에 어떤 영향을 미치는가?
• RQ4 편향 항의 분산 조정 또는 편향 항 이동을 통해 네트워크의 초기 함수 공간 편향과 이후 학습 성능에 어떤 정도의 영향을 줄 수 있는가?
• RQ5 이러한 엔트로피 편향은 클래스 불균형 분류 작업에서 학습에 어떤 영향을 미치는가?

주요 결과

• 모든 t ∈ [0, 2^n)에 대해 단일층 퍼셉트론이 t개의 입력을 1로 분류할 사전 확률 P(t)는 정확히 2^(-n)이며, 이는 모든 가능한 t 값에 대해 동일한 가능성임을 나타낸다.
• 지수적으로 희귀한 낮은 엔트로피 함수(작은 또는 큰 t)는 조합적으로 드물지만, 균일한 P(t) 분포 덕분에 중간 엔트로피 함수보다 사전에 더 높은 확률을 가짐을 보여준다.
• ReLU 레이어를 추가하면 입력 분포에 관계없이 엔트로피가 낮은 함수에 대한 편향이 단조롭게 증가함을 분석적으로 증명하였다.
• 실험적으로 편향 항의 분산을 증가시킬수록 엔트로피가 낮은 함수에 대한 편향이 강화됨을 확인하여, 이는 조절 가능한 인덕티브 편향임을 시사한다.
• MNIST 및 EMNIST와 같은 클래스 불균형 데이터셋에서 편향 항을 이동시켜 초기 함수 엔트로피(t)를 높이면, 특히 ReLU 활성화를 사용하는 완전 연결 네트워크에서 테스트 정확도와 민감도가 향상됨을 관찰하였다.
• 정확도와 민감도에 최적의 이동 초모수는 진짜 클래스 불균형 비율(예: MNIST의 경우 1:10)과 일치하며, 이는 편향 조정을 통해 인덕티브 편향을 목표 함수와 일치시킬 수 있음을 나타낸다.