[論文レビュー] An Information-Theoretic External Cluster-Validity Measure

Byron Dom|arXiv (Cornell University)|Dec 12, 2012

Advanced Clustering Algorithms Research参考文献 4被引用数 28

ひとこと要約

この論文は、クラスタラベルが真のクラスラベルをどの程度うまく予測できるかを測定することで、クラスタリングの品質を評価する情報理論的外部クラスタ適合性指標を提案する。この指標は相互情報量を拡張し、クラスタラベルを用いてクラスラベルを圧縮することで得られるコード長の短縮をモデル化することで、クラスタ数が異なるクラスタリング同士を原理的かつ一貫した方法で比較可能にする。モデルコストとして推定された条件付き確率を組み込む。

ABSTRACT

In this paper we propose a measure of clustering quality or accuracy that is appropriate in situations where it is desirable to evaluate a clustering algorithm by somehow comparing the clusters it produces with ``ground truth' consisting of classes assigned to the patterns by manual means or some other means in whose veracity there is confidence. Such measures are refered to as ``external'. Our measure also has the characteristic of allowing clusterings with different numbers of clusters to be compared in a quantitative and principled way. Our evaluation scheme quantitatively measures how useful the cluster labels of the patterns are as predictors of their class labels. In cases where all clusterings to be compared have the same number of clusters, the measure is equivalent to the mutual information between the cluster labels and the class labels. In cases where the numbers of clusters are different, however, it computes the reduction in the number of bits that would be required to encode (compress) the class labels if both the encoder and decoder have free acccess to the cluster labels. To achieve this encoding the estimated conditional probabilities of the class labels given the cluster labels must also be encoded. These estimated probabilities can be seen as a model for the class labels and their associated code length as a model cost.

研究の動機と目的

• 真のクラスラベルが利用可能な状況で、クラスタリング品質を原理的かつ定量的に評価するための手法を開発すること。
• クラスタ数が異なるクラスタリング同士を公平に比較できること。
• クラスタリング評価を、クラスタラベルがクラスラベルをどの程度効果的に予測できるかを測る圧縮問題として定式化すること。
• クラスタ数が異なる場合にも相互情報量を拡張し、多様なクラスタリング出力に対して一貫した評価を可能にすること。

提案手法

• クラスタラベルが分かっている場合にクラスラベルを符号化するために必要なビット数の削減をモデル化し、圧縮に基づくアプローチを用いる。
• クラスタラベルが与えられたときのクラスラベルのコード長を計算し、クラスタごとのクラスの条件付き確率を推定して組み込む。
• 圧縮されたクラスラベル長に加えて、モデル（すなわち推定された条件付き確率）を符号化するコストを評価に組み込む。
• クラスタ数が異なる場合にも対応できるように、相互情報量を一般化することで、異なるクラスタリング同士の比較に適した指標を実現する。
• クラスタ割り当てをクラスラベルの予測モデルとみなす。このとき、モデルコストを総コード長に含める。
• 最終的な指標は、クラスラベルの符号化にクラスタラベルを補助情報として用いることで得られる期待コード長の削減量である。

実験結果

リサーチクエスチョン

• RQ1 クラスタ数が異なるクラスタリング同士を比較可能な方法で、クラスタリング品質をどのように測定できるか？
• RQ2 クラスタラベルは、真のクラスラベルをどの程度効果的に予測できるか？
• RQ3 相互情報量を、クラスタ数が異なる場合にも拡張可能か。また、解釈可能性と一貫性を保ちながら評価できるか？
• RQ4 情報理論的原則に従って、クラスタとクラスの関係を最適にモデル化する方法は何か？
• RQ5 クラスタ適合性評価において、モデルの複雑さ（例：推定確率）をどのように公平に扱えるか？

主な発見

• 提案された指標は、クラスタ数が異なるクラスタリング同士の比較を可能にするように、相互情報量を一般化している。
• クラスタ数が等しい場合、この指標はクラスタラベルとクラスラベルの間の標準的な相互情報量に簡略化される。
• クラスタラベルを用いてクラスラベルを予測する際の有効な圧縮利得を測定することで、クラスタリング同士の比較に原理的かつ明確な根拠を与える。
• 推定された条件付き確率の符号長というモデルコストを組み込むことで、モデル比較における公平性が保証される。
• 異なる数のクラスタを生成するクラスタリングアルゴリズムに対しても、定量的な評価が可能になる。
• このアプローチは、解釈可能で堅牢であり、明確な情報理論的根拠に基づいたモデルベースの圧縮タスクとしてクラスタリング評価を定式化している。