[論文レビュー] Gaussian Lower Bound for the Information Bottleneck Limit

Amichai Painsky, Naftali Tishby|arXiv (Cornell University)|Nov 7, 2017

Distributed Sensor Networks and Detection Algorithms参考文献 21被引用数 5

ひとこと要約

本稿では、非線形変換を用いて任意のデータの共同ガウス成分を最大化することで、情報ボトルネック（IB）曲線に対するガウス下界を導入し、効率的で解析的に取り扱いやすいIBに類似した表現学習を可能にした。この手法は、単純なガウス化を上回り、非線形CCAによって上界が定められ、2次統計量による非ガウスデータの線形化の根本的限界を明らかにする。

ABSTRACT

The Information Bottleneck (IB) is a conceptual method for extracting the most compact, yet informative, representation of a set of variables, with respect to the target. It generalizes the notion of minimal sufficient statistics from classical parametric statistics to a broader information-theoretic sense. The IB curve defines the optimal trade-off between representation complexity and its predictive power. Specifically, it is achieved by minimizing the level of mutual information (MI) between the representation and the original variables, subject to a minimal level of MI between the representation and the target. This problem is shown to be in general NP hard. One important exception is the multivariate Gaussian case, for which the Gaussian IB (GIB) is known to obtain an analytical closed form solution, similar to Canonical Correlation Analysis (CCA). In this work we introduce a Gaussian lower bound to the IB curve; we find an embedding of the data which maximizes its "Gaussian part", on which we apply the GIB. This embedding provides an efficient (and practical) representation of any arbitrary data-set (in the IB sense), which in addition holds the favorable properties of a Gaussian distribution. Importantly, we show that the optimal Gaussian embedding is bounded from above by non-linear CCA. This allows a fundamental limit for our ability to Gaussianize arbitrary data-sets and solve complex problems by linear methods.

研究の動機と目的

• 任意の連続的かつ非ガウス的データに対するIB曲線の近似という、一般に取り扱いが困難な課題に取り組むこと。
• データの「ガウス成分」を最大化することで、複雑なデータを線形手法で表現する実用的かつ理論的根拠に基づく手法を開発すること。
• 2次統計量のみを用いて得られる情報の最大量にどのような制限があるかを、提案されたガウス下界を用いて確立すること。
• カルドソの情報幾何的境界といった既存の境界を、AGCE手法によるデータに適応したより緊密な下界を導入することで改善すること。

提案手法

• 本手法は、$\underline{X}$ と $\underline{Y}$ 間の相互情報量を保存したまま、$\phi(\underline{X})$ と $\psi(\underline{Y})$ の変換を、共通ガウス性を最大化するように求める。
• 変換後の変数 $\underline{U} = \phi(\underline{X})$ と $\underline{V} = \psi(\underline{Y})$ に対してガウスIB（GIB）を適用し、正準相関分析を用いてGIBの閉形式解を活用する。
• 交互期待再帰法（ACE）アルゴリズムを用いて、ガウス性制約下での相関を最大化することで最適変換を導出する。
• 本手法はIB曲線に対する下界として形式化され、データの非線形的依存関係が2次統計量によってよく捉えられる場合に、境界が最もタイトになる。
• 連続的設定における数値近似のため、逆アニーリングおよび離散化（ガウス求積法）による妥当性の検証が行われる。
• 理論的分析により、境界が非線形CCAによって上界が定められ、2次統計量による非線形問題の線形化における根本的トレードオフが明らかになる。

実験結果

リサーチクエスチョン

• RQ1 任意の非ガウス的データに対して、解析的に取り扱いやすくかつ情報を持つIB曲線の下界を構築することは可能か？
• RQ2 ガウス化された表現に保持可能な情報量の最大値は何か？ その制限要因は何か？
• RQ3 提案されたガウス下界の性能は、直接元データにGIBを適用する「単純なガウス化」と比べてどのように異なるか？
• RQ4 提案された境界と非線形正準相関分析（CCA）との理論的関係は何か？
• RQ5 非線形依存関係は、2次統計量のみを用いてどの程度捉えることができるか？ その根本的限界は何か？

主な発見

• 提案されたガウス下界は、特に指数分布やガウス混合モデルなどの高い非ガウス性を示す設定において、単純なガウス化（元データに直接GIBを適用）を常に上回る性能を示す。
• 境界は、低複雑性（高圧縮度）の表現で最もタイトになる。これは、退化したガウス的構造が回復されやすいからである。
• 本手法により、ガウス化された表現で達成可能な最大情報量は、$\underline{X}$ と $\underline{Y}$ 間の非線形正準相関係数によって根本的に制限されていることが明らかになった。
• 提案された境界はカルドソの情報幾何的境界よりもタイトであることが示され、AGCEに基づくアプローチがデータに適応したガウス近似を構築する上で優位であることが実証された。
• 本手法は連続的IB近似において実用的価値を示し、真のIB曲線が計算不能な場合でも意味のあるベンチマークを提供する。
• 理論的分析により、境界が非線形CCAによって上界が定められ、2次統計量による非線形問題の線形化の根本的限界が確立された。