[論文レビュー] Multivariate Information Bottleneck

Nir Friedman, Ori Mosenzon+2 more|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 12被引用数 118

ひとこと要約

本稿は、複数のデータシステムにまたがる関連するクラスタをモデル化するためのベイジアンネットワークを用いて、情報ボトルネック手法の原理的で多次元拡張を提案する。情報圧縮と関連性の共同最適化を可能とし、元のIBフレームワークを多次元的依存関係を扱えるように一般化した反復的アルゴリズムを提供し、データ分割に関する構造的洞察をもたらす。

ABSTRACT

The Information bottleneck method is an unsupervised non-parametric data organization technique. Given a joint distribution P(A,B), this method constructs a new variable T that extracts partitions, or clusters, over the values of A that are informative about B. The information bottleneck has already been applied to document classification, gene expression, neural code, and spectral analysis. In this paper, we introduce a general principled framework for multivariate extensions of the information bottleneck method. This allows us to consider multiple systems of data partitions that are inter-related. Our approach utilizes Bayesian networks for specifying the systems of clusters and what information each captures. We show that this construction provides insight about bottleneck variations and enables us to characterize solutions of these variations. We also present a general framework for iterative algorithms for constructing solutions, and apply it to several examples.

研究の動機と目的

• 古典的な情報ボトルネック手法を、複数の相互に関連するデータシステムを同時に処理できるように拡張すること。
• ベイジアンネットワークを用いて複数の変数にまたがるクラスタを原理的フレームワークでモデル化すること。
• 多次元的状況下での圧縮と関連性の共同最適化を可能とすること。
• 構造的モデリングを通じて多次元IBの解を特徴付けること。
• 複雑な多次元データシナリオにおける解の構築のための反復的アルゴリズムを開発すること。

提案手法

• フレームワークは、複数のデータシステムおよびそのクラスタ構造の連合分布を表すためにベイジアンネットワークを用いる。
• 多次元情報ボトルネックは、条件付き分布に関する変分最適化問題として定式化される。
• この手法は、複数のターゲット変数にわたる関連性を捉えるための共同情報測度を導入する。
• 変分下界の座標上昇を用いて反復的アルゴリズムが導出される。
• 条件付き独立性の仮定を通じて、クラスタシステムとその依存関係をモジュラーに指定可能である。
• クラスタ割り当ての更新と十分統計量の推定を交互に繰り返すことで解が計算される。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネックの原則は、複数の相互に関連するデータシステムを処理できるようにどのように一般化できるか？
• RQ2 ベイジアンネットワークは、多次元的クラスタ構造とその依存関係をどのようにモデル化するか？
• RQ3 多次元的状況下で、圧縮と関連性をどのように共同最適化できるか？
• RQ4 多次元情報ボトルネックの解の構造的およびアルゴリズム的性質は何か？
• RQ5 多次元拡張は、単変量IBと比較して、どのようにデータ整理を改善するか？

主な発見

• 多次元IBフレームワークは、関連する統計的依存関係を保持しつつ、複数のデータシステムにまたがる共同クラスタリングを可能にする。
• ベイジアンネットワークの使用により、クラスタシステム間の条件付き依存関係を明示的にモデル化できる。
• 反復的アルゴリズムは、すべてのターゲット変数にわたる圧縮と関連性のバランスをとる安定解に収束する。
• フレームワークは、多次元的文脈における情報保持とデータ単純化のトレードオフを分析する原理的手段を提供する。
• このアプローチは元のIB手法を一般化し、データ整理および特徴選択に関する新たな洞察をもたらす。
• 実験的例では、多次元的状況下でクラスタリング性能と解釈可能性が向上していることが示された。