[論文レビュー] Discovering Structure in High-Dimensional Data Through Correlation Explanation

Greg Ver Steeg, Aram Galstyan|arXiv (Cornell University)|Jun 4, 2014

Advanced Text Analysis Techniques参考文献 31被引用数 63

ひとこと要約

この論文では、相関関係を潜在的要因によって説明する情報理論的目的関数を最適化することで、高次元データにおける階層的表現を学習する、モデルフリーで教師なしの手法である相関説明（CorEx）を紹介する。この手法は、多変量相互情報量を最小化するグリーディで線形時間のアルゴリズムを用いて、人間の性格特性、DNA、テキストなど多様なデータから意味のある構造を効率的に発見する。

ABSTRACT

We introduce a method to learn a hierarchy of successively more abstract representations of complex data based on optimizing an information-theoretic objective. Intuitively, the optimization searches for a set of latent factors that best explain the correlations in the data as measured by multivariate mutual information. The method is unsupervised, requires no model assumptions, and scales linearly with the number of variables which makes it an attractive approach for very high dimensional systems. We demonstrate that Correlation Explanation (CorEx) automatically discovers meaningful structure for data from diverse sources including personality tests, DNA, and human language.

研究の動機と目的

• 事前仮定やラベルデータなしで、高次元データにおける意味的で階層的な表現を発見するモデルフリーで教師なしの手法を開発すること。
• 従来の手法がモデル制約やスケーラビリティの問題により失敗するような、複雑で相関の強いデータから潜在的構造を抽出する課題に対処すること。
• 深層学習やベイジアン構造学習の代替手段として、計算可能で解釈可能なスケーラブルな情報理論的代替手法を提供すること。
• 高次元データにおける冗長性（多変量相互情報量で測定）が、背後にある因果的または生成的要因を発見する強力なシグナルであることを示すこと。
• 監視なしで、あるいはドメイン固有の事前知識なしで、既知の構造（例：オピニオン・ファイブ性格特性、遺伝的集団構造）を回復できることを示すこと。

提案手法

• 変数間の相関を測る指標として多変量相互情報量（全相関、TC）を用い、$ TC(X_G) = \sum_{i \in G} H(X_i) - H(X_G) $ で定義する。
• 相関説明の目的関数 $ TC(X;Y) = TC(X) - TC(X|Y) $ を定義し、観測変数 $ X $ の相関を潜在的要因 $ Y $ がどれだけ説明するかを定量化する。
• 離散的潜在要因 $ Y $（サイズ $ k $）に対して $ \max_{p(y|x)} TC(X;Y) $ を最適化し、グリーディで反復的なアルゴリズムを用いて相関の最良説明を求める。
• 複数の潜在要因 $ Y_1, \dots, Y_m $ への拡張を図り、階層的で段階的な最適化により、より抽象的な表現を構築する。
• 情報量の増加と複雑さのバランスを取る正規化目的関数を採用し、行列演算と非線形変換を用いて効率的な計算を可能にする。
• 離散的要因制約の緩和として、連続的パラメータ $ \alpha_{i,j} $ を用いることで、より柔軟で頑健な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーで教師なしの手法として、相関関係を潜在的要因によって説明することで、高次元データにおける階層的構造を発見できるか？
• RQ2 事前仮定なしに、標準的手法と比較して、高次元構造を検出する能力はどうなるか？
• RQ3 CorExは、生のラベルなしデータから、既知の意味的構造（例：性格タイプ、遺伝的サブポピュレーション）をどの程度回復できるか？
• RQ4 CorExは、性格調査、ゲノム、自然言語など多様な分野で、表現を効果的に学習できるか？
• RQ5 他の情報理論的目的関数と比較して、全相関（total correlation）を相関説明の指標として用いる理論的・実用的利点は何か？

主な発見

• CorExは、調査データから「オピニオン・ファイブ」性格特性を逆引きに成功させ、他の手法がその背後構造を検出できなかったのに対し、優れた性能を示した。
• DNAデータにおいて、CorExは性別、地理的背景、民族的背景のほぼ完全な予測要因を自動で発見し、生物学的に意味のある信号を抽出できる能力を示した。
• テキストデータでは、スタイル特徴と階層的なトピック表現の両方を回復し、監視なしで潜在的な意味的構造を明らかにした。
• 変数数に対して線形にスケーリングされるため、従来のベイジアン手法や深層学習手法が失敗するような非常に高次元のシステムに対しても実用的である。
• 合成データおよび実世界データにおいて、既知の構造を完全に回復した。これは、高次元データにおける冗長性が、背後要因の発見に強力で利用可能なシグナルであることを示している。
• アルゴリズムの性能は分野を問わず一貫しており、$ TC(X;Y) $ で測定した全相関の大部分を潜在的要因が説明していた。