[論文レビュー] Maximally Informative Hierarchical Representations of High-Dimensional Data

Greg Ver Steeg, Aram Galstyan|arXiv (Cornell University)|Oct 27, 2014

Gaussian Processes and Bayesian Inference参考文献 19被引用数 27

ひとこと要約

本稿では、自己整合的境界を用いて多次元データの最大情報量を持つ階層的表現を学習する、原理的で情報理論的な枠組みを提案する。この手法は、多次元相互情報量（全相関）を最適化することで、線形計算量かつ一定のサンプルサイズで、各層ごとの定量的情報量の増加を伴う、下位から上位への階層的構築を可能にし、合成データおよび実世界のデータ（S&P 500株価リターンなど）における重複構造や潜在的依存関係を、先行手法を上回って捉える。

ABSTRACT

We consider a set of probabilistic functions of some input variables as a representation of the inputs. We present bounds on how informative a representation is about input data. We extend these bounds to hierarchical representations so that we can quantify the contribution of each layer towards capturing the information in the original data. The special form of these bounds leads to a simple, bottom-up optimization procedure to construct hierarchical representations that are also maximally informative about the data. This optimization has linear computational complexity and constant sample complexity in the number of variables. These results establish a new approach to unsupervised learning of deep representations that is both principled and practical. We demonstrate the usefulness of the approach on both synthetic and real-world data.

研究の動機と目的

• 高次元データの非教師付き学習における深層階層的表現を、理論的根拠に基づいた情報理論的アプローチで開発すること。
• 各層および潜在的要因が高次元データの情報抽出に寄与する程度を定量化すること。
• 理論的保証を備えたスケーラブルで下位から上位への最適化による表現学習を可能にすること。
• 従来のCorExのような手法を拡張し、重複構造を扱えるとともに、情報量の tighter な境界を提供すること。
• 神経科学、ゲノム研究、ファイナンスなどの分野で、複雑で相関のあるデータに適用可能なドメインに依存しない枠組みを提供すること。

提案手法

• 観測変数と潜在的要因間の全相関（多次元相互情報量）の境界を最適化することで、情報量を最大化する。
• 変分境界に基づく自己整合的方程式を用い、反復的かつ下位から上位への層の構築を可能にする。
• 各潜在的要因が寄与する情報量を別々に定量化でき、解釈性が向上する。
• 最適化は線形計算量かつ一定のサンプル量を要し、高次元データにスケーラブルに拡張可能である。
• 表現学習の目的関数を、冗長性を保持する損失あり圧縮に類似した、説明可能な多次元相互情報量を最大化することに定式化する。
• 潜在的要因を、独自の情報を説明する場合にのみ追加することで、自然にスパースで木構造的または重複する階層的構造を生成する。

実験結果

リサーチクエスチョン

• RQ1 階層的表現の情報量を、情報理論的境界の観点から形式的にどのように定量化できるか？
• RQ2 各層および潜在的要因が高次元データの全相関を捉えるにあたり、それぞれが果たす寄与度は何か？
• RQ3 理論的保証を備えた、スケーラブルで下位から上位への階層的表現の構築は可能か？
• RQ4 従来の木構造的アプローチとは異なり、本手法はデータの重複構造をどのように処理するか？
• RQ5 本フレームワークは、多様な分野における非教師付き表現学習の解釈性と性能を、どの程度向上できるか？

主な発見

• 線形計算量と一定のサンプル量を達成しており、高次元データにスケーラブルである。
• 各層ごとに定量的情報量の増加が確認できる、下位から上位への階層的表現の構築が可能である。
• 合成データでは、競合手法よりも数階層大きな潜在的木構造を正確に再構築した。
• S&P 500金融データでは、セクター間の関係を捉え、ポイントワイズ全相関推定値により2008年の市場崩壊を最も異常な出来事として特定した。
• エッジの重みが相互情報量を、ノードのサイズが説明可能な多次元依存性を反映する、自然なスパースで解釈可能なグラフを生成する。
• 制限付きボルツマンマシンのベースラインと比較して、金融データにおける意味のある構造をより良く明らかにしたが、ベースラインでは有用な構造は観察されなかった。