[논문 리뷰] Understanding Deep Learning Generalization by Maximum Entropy

Guanhua Zheng, Jitao Sang외 1명|arXiv (Cornell University)|2017. 11. 21.

Model Reduction and Neural Networks참고 문헌 9인용 수 5

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNNs)가 최대 엔트로피(ME) 원칙을 만족하는 특징 조건을 반복적으로 근사화함으로써 일반화를 달성한다고 제안한다. DNNs를 ME 최적화의 반복적 해법으로 재정의함으로써, 저자들은 스케일 연결과 정규화와 같은 표준 DNN 구성 요소가 정보 泄漏를 최소화하고 입력 구조를 유지함으로써 일반화를 향상시킨다고 보여주며, 이는 정보 이론적 관점에서 딥 러닝의 성공을 설명한다.

ABSTRACT

Deep learning achieves remarkable generalization capability with overwhelming number of model parameters. Theoretical understanding of deep learning generalization receives recent attention yet remains not fully explored. This paper attempts to provide an alternative understanding from the perspective of maximum entropy. We first derive two feature conditions that softmax regression strictly apply maximum entropy principle. DNN is then regarded as approximating the feature conditions with multilayer feature learning, and proved to be a recursive solution towards maximum entropy principle. The connection between DNN and maximum entropy well explains why typical designs such as shortcut and regularization improves model generalization, and provides instructions for future model development.

연구 동기 및 목표

• 높은 모델 용량에도 불구하고 딥 러닝의 강력한 일반화를 이론적으로 설명하는 데 목적이 있다.
• 소프트맥스 회귀가 최대 엔트로피 원칙을 엄격히 만족하는 특징 조건을 규명하는 데 목적이 있다.
• 제약 조건의 반복적 분해를 통해 DNNs를 최대 엔트로피 프레임워크와 연결하는 데 목적이 있다.
• 스케일 연결과 정규화와 같은 일반적인 DNN 설계 선택 사항이 일반화를 향상시키는 이유를 ME 관점에서 설명하는 데 목적이 있다.
• 일반화 가능한 딥 러닝 모델을 설계하기 위한 새로운 이론적 기반을 제공하는 데 목적이 있다.

제안 방법

• 소프트맥스 회귀가 정확히 최대 엔트로피 원칙을 만족하는 두 가지 충분 조건을 유도하며, 이를 최대 엔트로피 등가 정리로 명명한다.
• DNNs를 다층 비선형 특징 학습을 통해 이러한 ME 특징 조건을 근사하는 반복 최적화 과정으로 재정의한다.
• ME 제약 조건의 반복적 분해를 해결하기 위한 최적화 기제로 백프로파게이션을 사용한다.
• DNN의 출력층을 소프트맥스 회귀로 모델링하고, 은닉층을 ME 특징 조건을 만족하기 위해 특징을 학습하는 것으로 해석한다.
• ME 솔루션이 IB의 충분 조건을 만족함을 보여줌으로써 ME와 정보 차단(IB) 원리 사이의 이론적 연결을 수립한다.
• 정규화와 스케일 연결을 각각 상호정보량 I(X;T)를 감소시키고 입력 정보를 유지시키는 메커니즘으로 해석함으로써, ME 제약 조건과 일치시킨다.

실험 결과

연구 질문

• RQ1 어떤 특징 조건이 소프트맥스 회귀 모델이 최대 엔트로피 원칙을 엄격히 준수하도록 보장하는가?
• RQ2 딥 뉴럴 네트워크는 최대 엔트로피 문제의 반복적 해법으로 어떻게 해석될 수 있는가?
• RQ3 스케일 연결과 가중치 정규화와 같은 일반적인 DNN 구성 요소가 일반화를 향상시키는 이유는 무엇인가?
• RQ4 최대 엔트로피 프레임워크는 DNNs에서 정보 차단 현상이 나타나는 것을 어떻게 설명하는가?
• RQ5 ME 원칙은 딥 러닝 일반화를 이해하는 데 통합적인 이론적 기초로 기능할 수 있는가?

주요 결과

• 논문은 소프트맥스 회귀가 정확히 최대 엔트로피 원칙을 만족하는 두 가지 충분 조건을 도출하였으며, 이를 최대 엔트로피 등가 정리로 정의한다.
• DNNs가 ME 문제의 반복적 근사임을 보여주며, 은닉층이 ME 조건을 만족하기 위해 특징을 학습함으로써 일반화를 최대화함을 입증한다.
• DNNs에서의 정보 차단 현상은 ME 프레임워크의 결과로 설명되며, ME 문제의 해가 IB의 충분 조건을 만족하기 때문이다.
• 스케일 연결은 계층 간에 더 많은 입력 정보(X)를 유지함으로써 일반화를 향상시키며, 반복적 분해 과정에서의 정보 손실을 줄인다.
• L2, 드롭아웃, SGD와 같은 정규화 기법들이 I(X;T)를 최소화함으로써 I(Ti;Tj|Y)의 상한을 줄이며, 이는 ME 제약 조건과 일치한다.
• 더 깊은 네트워크는 더 풍부한 수신장 덕분에 충분한 입력 정보를 유지할 때에만 일반화가 향상되며, 깊이 자체 때문이 아니라서만 그러한 성능 향상이 발생하지 않는다.