[논문 리뷰] Information Bottleneck and its Applications in Deep Learning

Hassan Hafez-Kolahi, Shohreh Kasaei|arXiv (Cornell University)|2019. 04. 07.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 11

한 줄 요약

이 종합 검토는 딥러닝에서 정보 압축 이론(IB) 프레임워크를 탐구하며, 압축과 예측의 균형을 이루는 데서 신경망 분석 및 개선에 기여하는 역할을 설명한다. IB는 확률적 경사 하강법, 변분 오토에인코드러, 최소 충분통계량과 연결되며, 결정론적 딥 네트워크에 정보 이론을 적용할 때 흔히 발생하는 함정들을 경고한다.

ABSTRACT

Information Theory (IT) has been used in Machine Learning (ML) from early days of this field. In the last decade, advances in Deep Neural Networks (DNNs) have led to surprising improvements in many applications of ML. The result has been a paradigm shift in the community toward revisiting previous ideas and applications in this new framework. Ideas from IT are no exception. One of the ideas which is being revisited by many researchers in this new era, is Information Bottleneck (IB); a formulation of information extraction based on IT. The IB is promising in both analyzing and improving DNNs. The goal of this survey is to review the IB concept and demonstrate its applications in deep learning. The information theoretic nature of IB, makes it also a good candidate in showing the more general concept of how IT can be used in ML. Two important concepts are highlighted in this narrative on the subject, i) the concise and universal view that IT provides on seemingly unrelated methods of ML, demonstrated by explaining how IB relates to minimal sufficient statistics, stochastic gradient descent, and variational auto-encoders, and ii) the common technical mistakes and problems caused by applying ideas from IT, which is discussed by a careful study of some recent methods suffering from them.

연구 동기 및 목표

• 정보 압축 이론(IB) 프레임워크와 현대 딥러닝에서의 관련성을 종합적으로 개괄하는 것.
• IB가 확률적 경사 하강법과 변분 오토에인코드러와 같은 다양한 기계학습 방법을 통합하는 이론적 시각을 제공하는 것.
• 지속적이고 결정론적인 아키텍처에서 딥 네트워크에 정보 이론을 적용할 때 발생하는 기술적 과제와 일반적인 실수를 부각하는 것.
• 딥러닝에서 일반화 오차를 유계화하기 위해 상호정보량을 사용하는 이론적 및 실용적 한계를 검토하는 것.
• 특히 잘못된 마르코프 가정이나 부적절하게 정의된 공식화에 의존하는 최근 IB 기반 접근법에서의 오해를 명확히 하는 것.

제안 방법

• 충분통계량에서 정보 압축 이론으로의 역사적 발전을 검토하며 이론적 기초를 강조한다.
• IB 목적 함수를 소개한다: Y에 대한 정보를 유지하면서 상호정보량 I(X;T)를 최소화하는 것, 즉 max I(Y;T) − βI(X;T).
• IB를 해결하는 데 고전적인 방법으로 블라후트-아리모토 알고리즘을 설명하지만, 이는 이산 또는 지수족 분포에 국한된다.
• 변분 근사법을 통한 IB의 변분 근사 방법을 논의하여, 압축 및 복잡한 딥러닝 모델에 대한 적용을 가능하게 한다.
• 학습 데이터 S와 학습된 모델 A(S) 사이의 상호정보량 I(S;A(S))를 사용하여 일반화 오차를 유계화하는 방법을 분석하며, 정보 이론에서의 일반화 유계화 기반을 기반으로 한다.
• 최근 DNN에 이 일반화 유계화를 적용한 尝시를 비판적으로 평가하며, 데이터 흐름에서 정당화되지 않은 마르코프 가정이 포함된 문제점을 지적한다.

실험 결과

연구 질문

• RQ1 정보 압축 이론 프레임워크는 어떻게 확률적 경사 하강법과 변분 오토에인코드러와 같은 서로 다른 기계학습 방법들을 통합하는가?
• RQ2 지속적이고 결정론적인 설정에서 딥 네트워크에 정보 이론 개념을 적용할 때 이론적 및 실용적 한계는 무엇인가?
• RQ3 왜 결정론적 딥 네트워크를 훈련하기 위해 상호정보량을 사용하는 것이 부적절한 문제로 간주되는가? 그 결과는 무엇인가?
• RQ4 해결 공간이 적절히 제약되지 않은 경우, IB에 대한 변분 근사가 어떻게 실패하는가?
• RQ5 학습 데이터와 모델 파라미터 사이의 상호정보량을 사용하여 딥러닝 모델의 일반화 오차를 의미 있게 유계화할 수 있는가? 그러한 유계화에 기반하는 가정은 무엇인가?

주요 결과

• 정보 압축 이론은 정보 압축과 예측의 관점에서 최소 충분통계량, 확률적 경사 하강법, 변분 오토에인코드러를 연결하는 통합 이론적 프레임워크를 제공한다.
• 변분 근사를 사용할 경우, 변분 오토에인코드러는 IB 프레임워크의 특수한 경우로 나타나며, 생성 모델링과 표현 학습 사이에 깊은 이론적 연결을 수립한다.
• 결정론적 딥 네트워크를 훈련하기 위해 상호정보량을 적용하면 문제가 부적절해지며, 이는 결합 분포가 특이해지기 때문에 정규화 없이 MI 추정이 불가능하기 때문이다.
• 최근 DNN에서 I(S;A(S))를 사용하여 일반화 오차를 유계화하려는 尝시는 정당화되지 않은 마르코프 가정 W → S → S₁ → … → Sm을 포함하고 있어 실질적으로 성립하지 않아서 결함이 있다.
• I(S;A(S))의 일반화 유계화는 이론적으로 매력적이지만, 알려지지 않은 분포를 가진 고차원 복잡한 모델에서 상호정보량 추정의 어려움으로 인해 실용적으로 불가능하다.
• 이론적 잠재력이 있음에도 불구하고, 정보 이론을 딥러닝에 적용하는 데는 기술적 함정이 많으며, 특히 상호정보량 추정과 변분 가족의 선택에서 문제가 발생한다.