[논문 리뷰] Gaussian Lower Bound for the Information Bottleneck Limit

Amichai Painsky, Naftali Tishby|arXiv (Cornell University)|2017. 11. 07.

Distributed Sensor Networks and Detection Algorithms참고 문헌 21인용 수 5

한 줄 요약

이 논문은 비선형 변환을 통해 임의의 데이터의 공통 가우시안 성분을 최대화함으로써 정보 버블링(IB) 곡선에 대한 가우시안 하한을 제안한다. 이는 효율적이고 해석 가능한 IB 유사 표현 학습을 가능하게 하며, 난이도 있는 가우시안화보다 우월하고 비선형 CCA에 의해 상한으로 제한된다. 이는 두차원 통계를 통한 비가우시안 데이터의 선형화에 대한 근본적인 한계를 드러낸다.

ABSTRACT

The Information Bottleneck (IB) is a conceptual method for extracting the most compact, yet informative, representation of a set of variables, with respect to the target. It generalizes the notion of minimal sufficient statistics from classical parametric statistics to a broader information-theoretic sense. The IB curve defines the optimal trade-off between representation complexity and its predictive power. Specifically, it is achieved by minimizing the level of mutual information (MI) between the representation and the original variables, subject to a minimal level of MI between the representation and the target. This problem is shown to be in general NP hard. One important exception is the multivariate Gaussian case, for which the Gaussian IB (GIB) is known to obtain an analytical closed form solution, similar to Canonical Correlation Analysis (CCA). In this work we introduce a Gaussian lower bound to the IB curve; we find an embedding of the data which maximizes its "Gaussian part", on which we apply the GIB. This embedding provides an efficient (and practical) representation of any arbitrary data-set (in the IB sense), which in addition holds the favorable properties of a Gaussian distribution. Importantly, we show that the optimal Gaussian embedding is bounded from above by non-linear CCA. This allows a fundamental limit for our ability to Gaussianize arbitrary data-sets and solve complex problems by linear methods.

연구 동기 및 목표

• 일반적으로 비가역적인 임의의 연속적이고 비가우시안 데이터에 대해 IB 곡선을 근사화하는 데 도전하는 것.
• 데이터의 '가우시안 성분'을 최대화함으로써 복잡한 데이터를 선형 방법으로 표현하는 실용적이고 이론적으로 탄탄한 방법을 개발하는 것.
• 두차원 통계만으로 포착할 수 있는 최대 정보량에 대한 근본적 한계를 제안된 가우시안 하한을 통해 설정하는 것.
• 카르도소의 정보 기하학 하한과 같은 기존 하한을 넘어, AGCE 방법을 통해 데이터에 적응하는 더 날카운 가우시안 하한을 도입함으로써 더 날카운 하한을 제공하는 것.

제안 방법

• 변환 $\phi(\underline{X})$와 $\psi(\underline{Y})$를 찾는 방법으로, $\underline{X}$와 $\underline{Y}$ 사이의 상호정보량을 유지하면서도 공동 가우시안성을 최대화하는 것을 목표로 한다.
• 변환된 변수 $\underline{U} = \phi(\underline{X})$와 $\underline{V} = \psi(\underline{Y})$에 대해 가우시안 IB(GIB)를 적용하며, 캐논리컬 상관분석을 통해 GIB의 닫힌 형태 해를 활용한다.
• 공동 가우시안성 조건 하에서 상관관계를 최대화하기 위해 교대 조건 기대값(ACE) 알고리즘을 사용하여 최적의 변환을 유도한다.
• 이 방법은 IB 곡선에 대한 하한으로서 형식화되며, 데이터의 비선형적 의존성이 두차원 통계로 잘 포착될 경우에 하한이 가장 날카로워진다.
• 연속적 설정에서의 수치 근사를 위해 역냉각(reverse annealing)과 이산화(Gaussian quadratures)를 활용하여 검증한다.
• 이론적 분석은 하한이 비선형 CCA에 의해 상한으로 제한됨을 보여주며, 가우시안화와 정보 유지 간의 근본적 트레이드오프를 드러낸다.

실험 결과

연구 질문

• RQ1 비가우시안 데이터에 대해 분석적으로 해석 가능하고 유의미한 하한을 제안할 수 있는가?
• RQ2 가우시안화된 표현에서 최대한의 정보를 유지할 수 있는 양은 얼마이며, 무엇이 이를 제한하는가?
• RQ3 제안된 가우시안 하한의 성능은 난이도 있는 가우시안화(즉, 원시 데이터에 직접 GIB를 적용하는 것)와 비교해 어떻게 되는가?
• RQ4 제안된 하한과 비선형 캐논리컬 상관분석 간의 이론적 관계는 무엇인가?
• RQ5 비선형 의존성은 어느 정도까지 두차원 통계만으로 포착될 수 있으며, 그 근본적 한계는 무엇인가?

주요 결과

• 제안된 가우시안 하한은 특히 지수분포 및 가우시안 혼합 모델과 같은 극도로 비가우시안인 설정에서 원시 데이터에 직접 GIB를 적용하는 난이도 있는 가우시안화보다 항상 뛰어난 성능을 보인다.
• 낮은 복잡도(높은 압축도)의 표현에서 하한이 가장 날카로워지며, 이는 열악한 가우시안 구조를 회복하기가 더 쉬운 경우이다.
• 이 방법은 가우시안화된 표현에서 달성 가능한 최대 정보량이 $\underline{X}$와 $\underline{Y}$ 사이의 비선형 캐논리컬 상관계수에 의해 근본적으로 제한됨을 드러낸다.
• 제안된 하한은 카르도소의 정보 기하학 하한보다 날카로워지며, AGCE 기반 접근법이 데이터에 적응하는 가우시안 근사치를 구성하는 데서 유리함을 입증한다.
• 이 방법은 연속적 IB 근사에서 실용적인 유용성을 보이며, 진정한 IB 곡선을 계산하기 어려운 경우에도 의미 있는 기준점이 된다.
• 이론적 분석은 하한이 비선형 CCA에 의해 상한으로 제한됨을 확인하며, 두차원 통계를 통한 비선형 문제의 선형화에 대한 근본적 한계를 설정한다.