[論文レビュー] Hierarchical Clustering Using Mutual Information

Alexander Kraskov, Harald Stoegbauer+2 more|ArXiv.org|Nov 27, 2003

Fractal and DNA sequence analysis被引用数 6

ひとこと要約

本稿では、相互情報量（MI）を類似度指標として用いる階層的クラスタリング手法「相互情報量クラスタリング（MIC）」を提案する。MIのグループ化性質を活用し、再帰的にクラスタを統合する。本手法は非線形依存性を捉えることができ、従来の手法を上回り、独立成分分析（ICA）出力からの胎児および母体の心電図（ECG）成分の再構成に成功するとともに、ミトコンドリアDNA配列から系統関係を同定する。

ABSTRACT

We present a method for hierarchical clustering of data called {\it mutual information clustering} (MIC) algorithm. It uses mutual information (MI) as a similarity measure and exploits its grouping property: The MI between three objects $X, Y,$ and $Z$ is equal to the sum of the MI between $X$ and $Y$, plus the MI between $Z$ and the combined object $(XY)$. We use this both in the Shannon (probabilistic) version of information theory and in the Kolmogorov (algorithmic) version. We apply our method to the construction of phylogenetic trees from mitochondrial DNA sequences and to the output of independent components analysis (ICA) as illustrated with the ECG of a pregnant woman.

研究の動機と目的

• 線形相関を超える非線形依存性を捉える階層的クラスタリング手法の開発。
• 相互情報量（MI）のグループ化性質を活用し、再帰的なクラスタ統合を実現。
• MIに基づくクラスタリングを、心電図およびミトコンドリアDNAを含む実世界の生物学的・生理的データに適用。
• MIに基づくクラスタリングが、複雑な依存関係を検出する際に相関に基づく手法を上回ることを示すこと。
• 独立成分分析（ICA）出力および系統的データに対して本手法を検証し、その頑健性と解釈可能性を示すこと。

提案手法

• MICアルゴリズムは、データポイントまたはクラスタ間の類似度として、ペアワイズ相互情報量（MI）を用いる。
• グループ化性質：I(X,Y,Z) = I(X,Y) + I((X,Y),Z) に基づき、MIが最大の2つのクラスタを再帰的に統合する。
• 連続変数のMI推定には非パラメトリック推定器を用い、微分エントロピーの近似に区間分割を適用する。
• 各ステップで、統合されたクラスタを削除し、残りのクラスタすべてに対して新しいクラスタとのMI値を追加して類似度行列を更新する。
• 分岐の高さが統合されるクラスタ間のMIを表すデンドログラムを構築する。
• 最終的なクラスタ抽出のため、カットオフ閾値（例：0.1 nats）を適用する。例えば、母体と胎児のECG成分を分離可能となる。

実験結果

リサーチクエスチョン

• RQ1 非線形依存性が存在する状況において、相互情報量が頑健で情報豊富な類似度指標として機能できるか？
• RQ2 相互情報量のグループ化性質が、原理的かつ再帰的なクラスタ統合アプローチを可能にするか？
• RQ3 MICはICA再構成成分から母体および胎児のECG信号を効果的に分離できるか？
• RQ4 従来手法と比較して、ミトコンドリアDNA配列からの系統樹構築においてMICはどのように性能を発揮するか？
• RQ5 本手法は、ゲノムおよび電気生理学的データなど、多様な生物学的データタイプに一般化可能か？

主な発見

• MICアルゴリズムは、ICA成分において2つの主要なクラスタを明確に特定した。母体ECGが支配的なクラスタ（MI ≈ 1.44 nats）と、胎児ECGが支配的なクラスタ（MI ≈ 0.3 nats）が得られた。
• クラスタ間MIに0.1 natsの閾値を適用したところ、母体と胎児のECG成分が正しく分離され、クラスタデータから胎児ECGを綺麗に再構成可能となった。
• デンドログラムは母体および子の2つの明確なクラスタを示し、小さなクラスタはノイズと解釈された。これにより、生物学的に意味のあるグループ化を検出できることが確認された。
• MIのグループ化性質により、一貫した階層的構造が保証され、MI値の推定誤差に起因するわずかなアーチファクトを除き、良好な性能を示した。
• MICは系統樹構築およびECG信号分離の両方で頑健な性能を発揮し、分野を越えた広範な応用可能性を示した。
• 最新の非パラメトリック手法によるMI推定の向上により、データサイズの増加や系統解析における種の数の増加に対しても、MICの精度が向上した。