[논문 리뷰] How Does Information Bottleneck Help Deep Learning?

Kenji Kawaguchi, Zhun Deng외 2명|arXiv (Cornell University)|2023. 05. 30.

Stochastic Gradient Optimization Techniques인용 수 15

한 줄 요약

요약: 이 논문은 정보 병목 정규화와 일반화를 연결하는 첫 번째로 엄밀한 일반화 경계를 제시하며, 학습 데이터로 인코더를 학습하는 시나리오를 포함하고 다양한 아키텍처에서의 실험으로 이론을 검증한다.

ABSTRACT

Numerous deep learning algorithms have been inspired by and understood via the notion of information bottleneck, where unnecessary information is (often implicitly) minimized while task-relevant information is maximized. However, a rigorous argument for justifying why it is desirable to control information bottlenecks has been elusive. In this paper, we provide the first rigorous learning theory for justifying the benefit of information bottleneck in deep learning by mathematically relating information bottleneck to generalization errors. Our theory proves that controlling information bottleneck is one way to control generalization errors in deep learning, although it is not the only or necessary way. We investigate the merit of our new mathematical findings with experiments across a range of architectures and learning settings. In many cases, generalization errors are shown to correlate with the degree of information bottleneck: i.e., the amount of the unnecessary information at hidden layers. This paper provides a theoretical foundation for current and future methods through the lens of information bottleneck. Our new generalization bounds scale with the degree of information bottleneck, unlike the previous bounds that scale with the number of parameters, VC dimension, Rademacher complexity, stability or robustness. Our code is publicly available at: https://github.com/xu-ji/information-bottleneck

연구 동기 및 목표

• 정보 병목을 심층 학습의 일반화와 연결하는 엄밀한 학습 이론을 제공한다.
• 중간 표현의 엔드투엔드 학습에서 정보 병목을 제어하는 것이 일반화 오차를 한정할 수 있음을 보인다.
• 이전 추론들보다 I(X;Z|Y)와 I(φ(S);S)로 의존하는 경계를 도출하여 조건부 상호정보 I(X;Z|Y)와 encoder-data 의존성에 따라 경계가 달라짐을 보여준다.
• 다양한 아키텍처와 설정에서 일반화가 정보 병목 측정치와 상관관계가 있음을 실험으로 입증한다.

제안 방법

• 신경망을 f^s = g_l^s o φ_l^s 로 구성된 합성으로 모델링하되 φ_l^s 는 인코더이고 g_l^s 는 나머지 네트워크이다.
• I(X;Z_l^s|Y) 를 포함하고, 학습된 인코더의 경우 I(φ_l^S;S) 를 정보 보존과 과적합의 척도로 하는 일반화 경계를 도출한다.
• 두 가지 주요 결과를 제시한다: s에 독립적인 고정 인코더에 대한 Theorem 1 과 s로 학습된 인코더에 대한 Theorem 2, 일반화를 정보 양과 연결한다.
• 2^{I(X;Z)}를 I(X;Z|Y)로 대체하면 더 타이트하고 정보에 선형적으로 의존하는 경계가 도출됨을 보인다.
• 무한 도메인 이슈를 다루고 상호 정보의 빈닝 기반 추정을 다루기 위한 보완정리(corollaries) 를 제안한다.
• 이론적 결과를 CIFAR10 및 기타 데이터셋의 실험으로 뒷받침하고, 표현과 모델 압축 지표를 일반화 예측 변수로 비교한다.

실험 결과

연구 질문

• RQ1 정보 병목 정규화가 심층 신경망의 일반화 오차와 어떤 관련이 있는가?
• RQ2 인코더가 학습 데이터에서 학습될 때도 엄밀한 일반화 경계가 확립될 수 있는가?
• RQ3 조건부 상호 정보 I(X;Z|Y) 를 I(X;Z) 또는 다른 복잡도 측정치보다 일반화를 더 잘 예측하는 지표가 되는가?
• RQ4 정보 병목 양과 인코더-데이터 의존성의 경험적 추정치가 아키텍처 전반에 걸쳐 일반화를 예측하는가?

주요 결과

• 표현과 표현 함수의 단순성이 일반화를 뒷받침한다는 새로운 일반화 경계를 제시한다.
• 상호 정보의 지수적 의존을 선형 의존(I(X;Z|Y))으로 대체하면 더 타이트한 경계가 얻어진다.
• 인코더가 데이터로 학습될 때 경계는 I(X;Z|Y) 와 I(φ(S);S) 를 포함하여 표현 압축과 인코더 과적합을 함께 포착한다.
• CIFAR10 및 MNIST에 대한 실험 결과, 표현 압축과 모델 압축을 결합한 경계가 표현 압축만으로 얻은 경계보다 더 잘 예측한다.
• 결합 항 I(S;θ_l^S) + I(X;Z_l^s|Y)의 레이어별 최소값을 취하면 일반화 간격에 대한 강한 예측력을 얻는다.
• 이 방법은 상호 정보의 빈닝 의사결정의 임의성을 해결하고 일반적인 추정기와 전이 학습 설정에서도 유효하다.