[논문 리뷰] On the Maximum Mutual Information Capacity of Neural Architectures

Brandon Foggo, Nanpeng Yu|arXiv (Cornell University)|2020. 06. 10.

Neural Networks and Applications참고 문헌 15인용 수 8

한 줄 요약

이 논문은 넓은 범위의 신경망 아키텍처에서 입력과 은닉 표현 간의 최대 상호정보량(MMI)에 대한 폐쇄형 표현을 유도하며, MMI가 가장 좁은 은닉 레이어의 폭에 의해 본질적으로 제한됨을 보여준다. 핵심 통찰은 정보 유지 능력의 아키텍처 용량이 이 최소 레이어 차원에 의해 제한된다는 것이며, 선형, ReLU, 이외의 활성화 함수를 가진 네트워크에서 유사한 결과가 성립한다.

ABSTRACT

We derive the closed-form expression of the maximum mutual information - the maximum value of $I(X;Z)$ obtainable via training - for a broad family of neural network architectures. The quantity is essential to several branches of machine learning theory and practice. Quantitatively, we show that the maximum mutual information for these families all stem from generalizations of a single catch-all formula. Qualitatively, we show that the maximum mutual information of an architecture is most strongly influenced by the width of the smallest layer of the network - the "information bottleneck" in a different sense of the phrase, and by any statistical invariances captured by the architecture.

연구 동기 및 목표

• 넓은 범위의 신경망 아키텍처에서 입력과 은닉 표현 간에 달성할 수 있는 최대 상호정보량(MMI)을 유도하는 것.
• 신경망의 정보 용량을 본질적으로 제약하는 아키텍처적 요인, 특히 상호정보량 측면에서의 요인을 규명하는 것.
• 선형, ReLU, 이외의 활성화 함수를 포함한 다양한 활성화 유형 간의 통찰을 통합하여, 이들이 모두 최소 레이어 폭에 의존하는 동일한 MMI 공식을 공유함을 보여주는 것.
• 딥 러닝에서 아키텍처 설계가 표현 복잡성과 일반화 잠재력에 미치는 영향을 이해하기 위한 이론적 기초를 제공하는 것.

제안 방법

• 모든 학습 가능한 매개변수 θ에 대해 I(X;Z_θ)의 상한을 구하여 MMI를 유도하며, 여기서 Z_θ는 최종 은닉 표현이다.
• 차분 엔트로피와 자코비안 행렬식 등의 정보이론적 도구를 사용하여 다양한 활성화 함수 하에서 상호정보량을 분석한다.
• 자료 처리 부등식과 강력한 자료 처리 부등식을 적용하여 I(X;Z)에 기반한 표현 품질 손실의 상한을 구한다.
• 이완형 활성화 함수의 경우, Z에 대한 엔트로피가 유지되므로 I(X;Z) = I(X;A)임을 증명하며, 여기서 A는 활성화 이전의 표현이다.
• 가중치 행렬의 곱의 질량과 레이어 간의 최소 은닉 차원을 분석하여 단일 레이어에서 다중 레이어 완전 연결 네트워크로 결과를 일반화한다.
• 가중치 행렬이 프로베니우스 노름 제약 조건을 만족할 때 상호정보량이 최대가 되며, 이는 최소 레이어 폭에 의존하는 폐쇄형 해를 이끌어낸다.

실험 결과

연구 질문

• RQ1 주어진 신경망 아키텍처에서 입력과 은닉 표현 간의 이론적 상한 상호정보량은 무엇인가?
• RQ2 가장 좁은 은닉 레이어의 폭은 신경망의 최대 정보 용량에 어떻게 영향을 미치는가?
• RQ3 선형, ReLU, 이외의 활성화 함수와 같은 다양한 활성화 함수가 동일한 MMI 공식으로 수렴하는 정도는 어느 정도인가?
• RQ4 다중 레이어 완전 연결 네트워크에서 최대 상호정보량을 해석적으로 도출할 수 있는가? 그리고 이 용량을 지배하는 아키텍처적 파라미터는 무엇인가?
• RQ5 아키텍처 설계는 입력 및 레이블 변수와의 상호정보량 측정 기준으로 볼 때 좋은 표현 학습 잠재력에 어떻게 영향을 미치는가?

주요 결과

• 넓은 범위의 신경망 아키텍처에 대해 최대 상호정보량(MMI)은 가장 작은 은닉 레이어의 폭에 의해 결정되며, K층 네트워크에서 $\tilde{N} = \min(N_0, N_1, \dots, N_K)$ 로 표기된다.
• 선형 및 ReLU 활성화를 가진 완전 연결 네트워크의 경우, MMI는 단일 통합 공식으로 일반화된 폐쇄형 표현을 가지며, 최소 레이어 폭이 주요 아키텍처적 요인이다.
• 시그모이드, 하이퍼볼릭 탄젠트, SELU 등의 이완형 활성화 함수의 경우, 가역 변환에 의한 엔트로피 보존 특성으로 인해 상호정보량 $I(X;Z)$ 는 정확히 $I(X;A)$ 와 동일하다.
• 다중 레이어 네트워크에서 조차도 상호정보량은 가장 작은 레이어 폭에 의해 제약을 받으며, 이는 레이어 간 차원이 다를 수 있음에도 불구하고 성립한다.
• 결과는 아키텍처에 관계없이 일반화된다: 단일 레이어, 다중 레이어, 완전 연결, 컨볼루션 네트워크(약간의 조정이 필요함) 모두 동일한 기본적인 MMI 행동을 보인다.
• 상호정보량 $I(X;Z)$ 에 대한 이론적 상한은 원하는 정보 용량을 확보하기 위해 아키텍처 설계를 이끌어내는 원칙적인 방법을 제공하며, 학습 중 검색 공간을 줄이는 데 기여한다.