[논문 리뷰] In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning

Behnam Neyshabur, Ryota Tomioka외 1명|arXiv (Cornell University)|2014. 12. 20.

Neural Networks and Applications인용 수 134

한 줄 요약

이 논문은 딥러닝에서 진짜 인덕티브 바이어스는 네트워크 크기보다는 확률적 경사하강법(SGD)에서의 암묵적 정규화, 특히 암묵적 $β$-노름 정규화임을 주장한다. 행렬 분해에 대한 유사성에 기반해, 과다 매개변수화된 네트워크에서의 웨이트 디데이는 $β$-정규화를 갖는 볼록 신경망과 등가임을 보여주며, 이는 큰 용량에도 불구하고 일반화가 가능하게 하는 이유를 설명한다.

ABSTRACT

We present experiments demonstrating that some other form of capacity control, different from network size, plays a central role in learning multilayer feed-forward networks. We argue, partially through analogy to matrix factorization, that this is an inductive bias that can help shed light on deep learning.

연구 동기 및 목표

• 딥러닝에서 네트워크 크기가 주요 용량 제어 요소라는 가정을 도전한다.
• 과다 매개변수화된 딥 네트워크에서 일반화를 가능하게 하는 진짜 인덕티브 바이어스를 규명한다.
• SGD에서의 암묵적 정규화와 볼록 신경망 사이의 이론적 연결을 수립한다.
• 크고 과다 매개변수화된 네트워크에서의 암묵적 $β$-정규화가 무한한 너비의 볼록 신경망에서의 $β$-정규화와 등가임을 보여준다.
• 과다 매개변수화된 네트워크에서의 웨이트 디데이가 볼록 형태에서 그룹 라소 정규화와 동일한 해를 유도함을 보여준다.

제안 방법

• 증거적으로 네트워크 크기를 점차 증가시키며 훈련 오차와 테스트 오차를 평가하여 일반화 행동을 관찰한다.
• 딥러닝과 행렬 분해 간의 유사성을 통해 암묵적 정규화가 핵심 용량 제어 요소임을 규명한다.
• 과다 매개변수화된 네트워크에서 웨이트 디데이와 $β$-정규화의 등가성을 활용해 볼록 신경망의 수식을 유도한다.
• 크고 큰 네트워크에서 웨이트 디데이를 최소화하는 것은 출력 레이어의 가중치에 대해 $β$-정규화를 갖는 볼록 최적화 문제를 푸는 것과 동일하다는 것을 도출한다.
• 웨이트 디데이가 있는 두 층의 ReLU 네트워크에서 무한한 너비 근사 근처에서 볼록 신경망이 $β$-정규화를 갖는다는 것을 증명한다.
• 크고 웨이트 디데이가 적용된 네트워크의 해가 $H > n$ 조건에서 볼록 신경망에서 그룹 라소 정규화를 갖는 해와 동일하다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 네트워크 크기 외에 과다 매개변수화된 딥 네트워크에서 일반화를 가능하게 하는 메커니즘은 무엇인가?
• RQ2 SGD에서의 암묵적 정규화는 볼록 모델의 명시적 정규화와 어떻게 관련이 있는가?
• RQ3 딥러닝의 인덕티브 바이어스를 아키텍처 용량이 아닌 노름 정규화의 형태로 설명할 수 있는가?
• RQ4 크고 웨이트 디데이가 적용된 딥 네트워크와 등가인 볼록 최적화 수식이 존재하는가?
• RQ5 입력에서 은닉층으로의 가중치 노름이 딥 네트워크의 인덕티브 바이어스를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 네트워크 크기를 늘려도 일정 수준 이상에서는 일반화 성능 향상이 멈추며, 이는 크기가 주요 용량 제어 요소가 아님을 시사한다.
• 크고 과다 매개변수화된 네트워크에서 SGD를 통한 암묵적 $β$-정규화는 $β$-정규화를 갖는 볼록 신경망의 해와 동일한 해를 유도한다.
• 은닉 유닛 수 $H$가 훈련 샘플 수 $n$을 초과할 경우 등가성이 유지되며, 이는 은닉 유닛 공간에서 해가 희박해짐을 보장한다.
• 크고 큰 네트워크에서의 웨이트 디데이는 무한한 은닉 유닛을 갖는 볼록 신경망에서 출력 레이어 가중치에 대한 $β$-정규화와 동일하다.
• $β$-정규화를 갖는 볼록 신경망 수식은 크고 웨이트 디데이가 적용된 네트워크를 훈련시킨 결과와 동일한 일반화 성능를 달성한다.
• 볼록 신경망의 해는 항상 이산적이며, 최대 $n+1$개의 활성 은닉 유닛을 갖는다. 이는 암묵적 정규화가 유도하는 희박성의 확인이다.