[論文レビュー] Hierarchical Clustering Based on Mutual Information

Alexander Kraskov, Harald Stögbauer+2 more|ArXiv.org|Nov 28, 2003

Fractal and DNA sequence analysis参考文献 10被引用数 99

ひとこと要約

本稿では、相互情報量（MI）を類似度測度として用いる階層的クラスタリング手法、Mutual Information Clustering（MIC）アルゴリズムを紹介する。MIのグループ化性質を活用して再帰的にクラスタを統合する。MIの推定が正確に行われる場合、胎児心電図（ECG）の独立成分分析（ICA）出力からの再構築およびミトコンドリアDNAからの哺乳類の系統樹の推定において、従来の手法を上回る性能を示し、MIベースのクラスタリングが多様な生物学的データタイプにわたって堅牢であることを示している。

ABSTRACT

Motivation: Clustering is a frequently used concept in variety of bioinformatical applications. We present a new method for hierarchical clustering of data called mutual information clustering (MIC) algorithm. It uses mutual information (MI) as a similarity measure and exploits its grouping property: The MI between three objects X, Y, and Z is equal to the sum of the MI between X and Y, plus the MI between Z and the combined object (XY). Results: We use this both in the Shannon (probabilistic) version of information theory, where the "objects" are probability distributions represented by random samples, and in the Kolmogorov (algorithmic) version, where the "objects" are symbol sequences. We apply our method to the construction of mammal phylogenetic trees from mitochondrial DNA sequences and we reconstruct the fetal ECG from the output of independent components analysis (ICA) applied to the ECG of a pregnant woman. Availability: The programs for estimation of MI and for clustering (probabilistic version) are available at http://www.fz-juelich.de/nic/cs/software

研究の動機と目的

• 相互情報量（MI）を近接度測度として用いる階層的クラスタリング手法の開発。MIのグループ化性質を活用し、より正確なクラスタ形成を実現すること。
• 本手法を2つの異なる生物学的問題に適用すること：ICA出力からの胎児ECG再構築およびミトコンドリアDNAからの哺乳類の系統樹構築。
• 確率論的（シャノン）およびアルゴリズム的（コルモゴロフ）情報理論フレームワークの両方において、MIベースのクラスタリングの有効性を示すこと。
• MIの適切な正規化が、特に高次元またはノイズの多いデータにおいて、信頼性の高いクラスタリングを実現するために不可欠であることを示すこと。

提案手法

• MICアルゴリズムは、オブジェクト間のペアワイズ相互情報量に基づく類似度行列を計算し、各オブジェクトを確率変数または記号列として扱う。
• グループ化性質 I(X,Y,Z) = I(X,Y) + I((X,Y),Z) を用いて、2つの最も類似度の高いクラスタを再帰的に統合することで、一貫性のある階層的分解を実現する。
• 各統合ステップにおいて、新たな合成クラスタと他のすべてのクラスタとの類似度は、結合クラスタとの相互情報量を用いて計算される。
• デンドログラムを用い、各統合の高さを対応するクラスタの相互情報量として定義することで、視覚的および定量的評価が可能になる。
• 確率論的MI推定には、Kraskovら（2003）が開発したバイアスと分散が小さい非パラメトリック推定器を用いる。
• MIの正規化を適用することで、相対的な類似度測度が保証され、高次元またはスパースなデータにおける歪みを回避することが重要である。

実験結果

リサーチクエスチョン

• RQ1 相互情報量は、多様な生物学的応用分野における階層的クラスタリングの原理的かつ効果的な近接度測度として機能できるか？
• RQ2 相互情報量のグループ化性質は、従来の連結法と比較して、より正確で一貫性のある階層的クラスタリングプロセスを可能にするか？
• RQ3 実世界の生物学的データ（ECG信号やミトコンドリアDNA配列）に適用した場合、MIベースのクラスタリングは標準的手法と比較してどの程度優れた性能を示すか？
• RQ4 MI推定の精度が、特に高次元またはノイズの多い環境下で、MICアルゴリズムの精度にどの程度依存するか？

主な発見

• MICアルゴリズムは、ICA成分からの胎児ECGを成功裏に再構築した。デンドログラムは、相互情報量のレベルに基づき、母体と胎児のECG寄与成分を明確に分離していた。
• ECG応用において、チャンネル1～14の相互情報量は約1.43であったのに対し、チャンネル6～8では約0.34であった。これは、明確に分離された信号クラスタを示している。
• MITOCHONDRIAL DNA配列から構築された系統樹は生物学的に妥当なグループ化を示しており、より多くの種が追加されれば精度が向上すると予想される。
• クラスタ（1–14）と（15–18）を含む統合におけるわずかな不一致は、MI推定の誤差に起因するものであり、手法自体の構造的欠陥ではない。
• 本手法は、心臓病学とゲノム分野という非常に異なる分野においても堅牢であることが示され、MIベースのクラスタリングの広範な適用可能性が裏付けられた。
• MIの適切な正規化が、信頼性の高いクラスタリングに不可欠であることが判明した。特に、アルゴリズム的情報理論フレームワークにおいて顕著であった。