[논문 리뷰] Implicit Regularization in Deep Learning

Behnam Neyshabur|arXiv (Cornell University)|2017. 09. 06.

Sparse and Compressive Sensing Techniques참고 문헌 57인용 수 77

한 줄 요약

본 논문은 최적화로 유도된 암묵적 규제화와 노름 기반 복잡도 척도가 딥러닝의 일반화 현상을 어떻게 설명하는지 조사하고, 신경망의 동작에 맞추기 위한 불변성 및 경로 기반 정규화/최적화 기법을 제안한다.

ABSTRACT

In an attempt to better understand generalization in deep learning, we study several possible explanations. We show that implicit regularization induced by the optimization method is playing a key role in generalization and success of deep learning models. Motivated by this view, we study how different complexity measures can ensure generalization and explain how optimization algorithms can implicitly regularize complexity measures. We empirically investigate the ability of these measures to explain different observed phenomena in deep learning. We further study the invariances in neural networks, suggest complexity measures and optimization algorithms that have similar invariances to those in neural networks and evaluate them on a number of learning tasks.

연구 동기 및 목표

• 매개변수가 과도하게 많은 신경망이 높은 용량에도 불구하고 일반화를 하는 이유를 조사한다.
• 최적화 알고리즘이 암묵적 규제화에 기여하는 방식을 분석한다.
• 신경망에 관련된 노름 기반 용량 측정치와 PAC-Bayes 경계를 개발한다.
• 신경망의 동작을 반영하는 불변성과 경로 기반 측정치/최적화를 제안한다.

제안 방법

• VC 차원, 노름, 마진, Lipschitz성, 및 PAC-Bayes 프레임워크를 통해 일반화 및 용량 제어를 연구한다.
• 노름이 유한한 완전 연결 네트워크에 대한 일반화 경계를 증명하고, 깊이에 의존하지 않는 경우를 포함한다.
• 마진 기반 경계의 프레임워크를 통해 샤프니스와 PAC-Bayes 일반화를 연결한다.
• 네트워크 및 학습 방식에 걸쳐 복잡도 척도와 일반화를 실증적으로 평가한다.
• 불변성(예: 재스케일링)과 Path-norm을 척도로 도입하고, Path-SGD를 Path-norm에 관한 근사적인 steepest-descent 방법으로 개발한다.
• Path-SGD와 Batch Normalization을 결합한 데이터 의존적 정규화 프레임워크를 제시한다.

실험 결과

연구 질문

• RQ1 최적화에 의해 유도된 암묵적 정규화가 딥러닝의 일반화에 어떤 영향을 미치는가?
• RQ2 과도하게 매개화된 네트워크에서 일반화를 설명할 수 있는 복잡도 척도(노름, 마진, Lipschitz 특성)는 무엇인가?
• RQ3 샤프니스와 마진 기반 분석과의 연계를 통해 PAC-Bayes 경계가 일반화를 설명할 수 있는가?
• RQ4 재매개변화하에서 신경망에 존재하는 불변성은 무엇이며, 이를 최적화에 어떻게 활용할 수 있는가?
• RQ5 경로 기반 측정치와 Path-SGD가 표준 SGD에 비해 일반화를 개선할 수 있는가?

주요 결과

• 최적화로 인한 암묵적 규제화가 딥러닝 일반화에서 중요한 역할을 한다.
• 노름 기반 용량 제어가 특정 노름에서 깊이에 의존하지 않는 경계를 갖는 완전 연결 네트워크에 대해 가능하게 한다.
• 샤프니스와 결합된 PAC-Bayes 프레임워크가 신경망에 관련된 일반화 경계를 산출한다.
• SGD로 학습된 네트워크는 일반화에 기여하는 평탄한 최소점 특성을 보인다.
• Path-norm 불변성은 네트워크의 재스케일링 대칭을 포착하고, Path-SGD는 다양한 벤치마크에서 일반화를 향상시킨다.
• 일원화된 데이터 의존적 정규화 프레임워크는 Path-SGD와 Batch Normalization을 연결하여 불변성, 규제화, 최적화를 연결한다.