[論文レビュー] Info-Clustering: A Mathematical Theory for Data Clustering

Chung Chan, Ali Al-Bashabsheh+3 more|arXiv (Cornell University)|May 4, 2016

Complex Network Analysis Techniques参考文献 99被引用数 6

ひとこと要約

本稿では、多次元相互情報量に基づく情報理論的枠組みである情報クラスタリングを紹介する。これはシャノンの相互情報量を複数の確率変数に拡張した新規な情報理論的枠組みであり、人間ゲノムやコンネクトームのような複雑な生物学的システムの階層的クラスタリングを可能にする。高相互情報量を持つ変数をグループ化することで、解釈可能性と対称性の保持が向上した、数学的に整合的で計算的に実行可能な従来のクラスタリング手法の代替手段を提供する。

ABSTRACT

We formulate an info-clustering paradigm based on a multivariate information measure, called multivariate mutual information, that naturally extends Shannon's mutual information between two random variables to the multivariate case involving more than two random variables. With proper model reductions, we show that the paradigm can be applied to study the human genome and connectome in a more meaningful way than the conventional algorithmic approach. Not only can info-clustering provide justifications and refinements to some existing techniques, but it also inspires new computationally feasible solutions.

研究の動機と目的

• 多次元情報理論に裏付けられた、厳密な数学的枠組みをデータクラスタリングに構築すること。
• 遺伝子発現や神経結合性といった高次元の生物学的データを、二項関係を超えた相互依存性を定量的に評価することでクラスタリングする課題に応えること。
• ゲノムや神経科学分野におけるヒューリスティックなクラスタリング手法の代替手段を提供し、潜在的な統計的依存関係と対称性をより適切に尊重すること。
• 本手法が既存のクラスタリング手法を正当化・改善できることを示し、計算的に効率的な新規なアルゴリズムの創出を促進すること。
• 多次元相互情報量を用いたしきい値ベースのクラスタリングにより、人間ゲノムやコンネクトームのような複雑なシステムの部分集合の階層を確立すること。

提案手法

• 複数の確率変数間の依存関係を測定するための多次元相互情報量の測度を、情報理論的根拠として提案する。
• 多次元相互情報量のしきい値を変化させることで、部分集合の系列を生成する階層的クラスタリングパラダイムを導入する。
• クラスタリング目的関数をモデル化するため、集合関数のディルワース切断を適用し、下位モジュラリティを保証し、効率的な最適化を可能にする。
• 2つの最適化定式化、すなわち主系列分割（PSP）と最小平均コスト（MAC）を採用し、パrameter化されたモジュラ関数を含む一般化されたコスト関数から導出する。
• 各データオブジェクトを確率変数とみなす情報クラスタリングの概念を用い、高相互情報量を持つサブセットをグループ化することで、相関構造の対称性を活用する。
• 合成データおよび生物学的データを用いて手法の妥当性を検証し、最適な分割が既知の対称性や統計的依存関係（例えば相関する遺伝子群や機能的結合神経群）を適切に反映していることを示した。

実験結果

リサーチクエスチョン

• RQ1 多次元相互情報量は、シャノンの二変数相互情報量を複数の変数に数学的に一貫性を持って拡張する方法としてどのように形式化できるか？
• RQ2 多次元相互情報量に基づく階層的クラスタリングフレームワークは、複雑なシステムにおける生物学的に意味のあるグループ化を捉える点で、従来のクラスタリング手法を上回ることができるか？
• RQ3 主系列分割（PSP）と最小平均コスト（MAC）といった異なる最適化基準は、クラスタリング解において対称性と統計的構造をどの程度適切に保持するか？
• RQ4 情報クラスタリングは、ゲノムやコンネクトミクス分野における既存のクラスタリング手法をどの程度正当化または改善できるか？
• RQ5 最適なクラスタリング解が生物学的データに内在する対称性と条件付き独立構造をどの程度正確に尊重するかを保証する条件は何か？

主な発見

• 提案された情報クラスタリングフレームワークは、多次元相互情報量を用いて部分集合の階層を効果的に生成でき、主系列分割（PSP）は相関するグループにおける対称性を保持する。
• {1,2,3}に対称的な相関があり、{4}が独立である4変数系において、PSP解は{1,2,3}を1つのクラスタとして正しく特定する。また、MACにおいてk=1かつs≥3.5のときも同様のクラスタを回復し、特定のパrameter領域での一貫性を確認した。
• k=2の場合、最小平均コスト（MAC）定式化は対称性を保持しない。{{1,2},{3},{4}}のような分割が得られ、元の相関構造を反映しない。これはMACが対称的状況下で限界を示すことを示唆している。
• MAC定式化の最適解はパrameter sに強く依存する。s<3.5のとき、解は対称性が低い分割にシフトする。これはパrameter選択に対する感受性を示している。
• モジュラ関数f=h_sのディルワース切断により、クラスタリング目的関数がモジュラ的であることが保証され、グリーディ法や動的計画法による最適分割の効率的計算が可能になる。
• 本フレームワークは、ヒューリスティックな類似度測度ではなく、情報理論的原則に基づいて、既知の生物学的グループ（例えば共発現遺伝子や機能的結合神経群）を正当化する数学的に整合性のあるクラスタリングの基盤を提供する。