[論文レビュー] Information theoretic model validation for clustering

Joachim M. Buhmann|arXiv (Cornell University)|Jun 2, 2010

Bayesian Methods and Mixture Models参考文献 12被引用数 6

ひとこと要約

本論文は、データノイズに対する耐性と情報量の両面を考慮してモデルを選択する情報理論的枠組みを提案する。クラスタリング解の近似集合を通信コードとして用い、モデル選択を可能にする。主な貢献は、クラスタリングコスト関数から信頼性を持って抽出可能なビット数を定量化する近似集合容量（ASC）の導入である。これにより、最大の耐性と未観測データへの一般化性能を達成するモデル選択が可能となる。

ABSTRACT

Model selection in clustering requires (i) to specify a suitable clustering principle and (ii) to control the model order complexity by choosing an appropriate number of clusters depending on the noise level in the data. We advocate an information theoretic perspective where the uncertainty in the measurements quantizes the set of data partitionings and, thereby, induces uncertainty in the solution space of clusterings. A clustering model, which can tolerate a higher level of fluctuations in the measurements than alternative models, is considered to be superior provided that the clustering solution is equally informative. This tradeoff between \emph{informativeness} and \emph{robustness} is used as a model selection criterion. The requirement that data partitionings should generalize from one data set to an equally probable second data set gives rise to a new notion of structure induced information.

研究の動機と目的

• ノイズが混入するデータ下での最適なクラスタリングモデルおよびモデルの複雑さの選択という課題に取り組む。
• 「正しい」クラスタリングモデルを選ぶのではなく、データ駆動の耐性と一般化性能に基づいたアルゴリズム的モデル検証に焦点を移す。
• 過学習と不足学習を回避するため、情報量と耐性の両方をバランスさせるモデル選択基準を開発する。
• AIC/BICのような従来の正則化やモデル選択基準の代替として、原理的かつ情報理論的な代替案を提供する。
• クラスタリング解の通信容量に基づく統一的指標を用いて、多様なクラスタリングモデルを比較可能にする。

提案手法

• クラスタリング解を通信コードとしてモデル化し、ノイズのあるデータに対する近似解の集合をコード語として扱う。
• 経験的リスク近似（ERA）を用いて、経験的リスク最小化解からコスト閾値γ以内のクラスタリング解の集合を定義する。
• 近似集合容量（ASC）を、データノイズ下で信頼性を持って区別可能なクラスタリング解の最大数として定義し、近似集合のサイズから導出する。
• 最適な近似集合内での統計的に区別できない解の平均化に最大エントロピー原理を適用し、自由エネルギーに基づく継続的手法を導出する。
• 解空間の不確実性を推定するために、2つのi.i.d.データサンプル（X¹, X²）を用い、エルゴード性を活用してアンサンブル平均を時間平均に置き換える。
• ASCを最大化する正則化パラメータγ⋆を選択し、モデル表現力と耐性の最適なトレードオフを確保する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてクラスタリングモデルをアルゴリズム的に検証し、未観測データへの一般化を保証できるか？
• RQ2 耐性と情報量の両方をバランスさせる、原理的で情報理論的な基準としてのクラスタ数の選択基準は何か？
• RQ3 データ測定の不確実性をどのようにしてクラスタリングの仮説クラスの分解能として定量化できるか？
• RQ4 モデルの複雑さ、ノイズ耐性、およびクラスタリング解から信頼性を持って抽出可能なビット数との関係は何か？
• RQ5 データ分布に関するパラメトリックな仮定に依存せずに、どのようにしてモデル選択を実現できるか？

主な発見

• 近似集合容量（ASC）は、データノイズ下で信頼性を持って区別可能なクラスタリング解の数を定量化するタスクに適した情報測度を提供する。
• ASCは最適な正則化パラメータγ⋆で最大値を示し、耐性と情報量の最良なトレードオフを達成するクラスタリングモデルを選択する。
• 最大エントロピー原理を用いて最適な近似集合上でモデルアンサンブルを行うと、安定性と一般化性能が向上する自由エネルギー形式が得られる。
• この手法は、P(X)が計算不能な高次元または複雑なデータ構造においても、パラメトリック尤度推定に依存しないため適している。
• ASCに基づくモデル選択は、解空間の分解能を通じてデータのフラクチュエーションに対する耐性を直接測定するため、AIC や BIC よりも優れた性能を示す。
• 本フレームワークは、クラスタリングに限らず、ノイズを含む入力を持つ任意の組合せ的または連続最適化問題に適用可能である。