[論文レビュー] Understanding partition comparison indices based on counting object pairs

Matthijs J. Warrens, Hanneke van der Hoef|arXiv (Cornell University)|Jan 7, 2019

Reliability and Agreement in Measurement参考文献 58被引用数 7

ひとこと要約

本稿は、対の数え上げに基づく分割比較インデックスを分析し、全体的なインデックス（例：ランダム係数と補正ランダム係数）が、クラスターサイズに依存する重み付き平均として、クラスターレベルの一致度測度の重み付き平均であることを示している。主な発見は、これらのインデックスがクラスターサイズの不均衡に極めて敏感であり、主に大きなクラスターでの一致を反映している一方で、小さなクラスターに関する情報は最小限に抑えられており、ランダム係数に類するインデックスは、どちらの分割においても結合されていない対に支配されており、一貫して高い値を示すということである。

ABSTRACT

In unsupervised machine learning, agreement between partitions is commonly assessed with so-called external validity indices. Researchers tend to use and report indices that quantify agreement between two partitions for all clusters simultaneously. Commonly used examples are the Rand index and the adjusted Rand index. Since these overall measures give a general notion of what is going on, their values are usually hard to interpret. Three families of indices based on counting object pairs are analyzed. It is shown that the overall indices can be decomposed into indices that reflect the degree of agreement on the level of individual clusters. The overall indices based on the pair-counting approach are sensitive to cluster size imbalance: they tend to reflect the degree of agreement on the large clusters and provide little to no information on smaller clusters. Furthermore, the value of Rand-like indices is determined to a large extent by the number of pairs of objects that are not joined in either of the partitions.

研究の動機と目的

• 全体的な分割比較インデックス（例：ランダム係数）が広く使われているにもかかわらず、その解釈が難しい理由を理解すること。
• 全体的な対数え上げインデックスをクラスターレベルの成分に分解し、その背後にある構造と重み付けを明らかにすること。
• クラスターサイズの不均衡が、これらのインデックスの解釈と信頼性に与える影響を調査すること。
• なぜランダム係数に類するインデックスが、たとえば0.7から1の間で高い値を示すのかを明確にすること。
• どのインデックスが小さなクラスターの回復に敏感であるかを特定し、クラスターバリデーションにおける手法選択を支援すること。

提案手法

• 本稿は、重みがクラスターサイズの2乗関数に比例するように、全体的なインデックスをクラスタースペシフィックな一致度インデックスの重み付き平均に分解する。
• 3つの対数え上げインデックスの族を分析する：ウォレス係数に基づくもの、ウォレス係数と結合されていない対のインデックスを組み合わせたもの、および確率的補正が施されたもの（例：補正ランダム係数）。
• 正式なインデックス分解を用い、両方の分割で一緒に結合されているか、または分離されている対に関する一致を反映する成分を分析する。
• この手法は、特に結合されていない対のような、さまざまな対の種類が全体的なインデックス値に与える影響を定量化する。
• 人工的および実世界のデータ例に分解法を適用し、クラスターサイズの不均衡下でのインデックスの挙動を説明する。
• 相対的重み（例：P/N、(N−P)/N）を用いて、大きなクラスターと小さなクラスターの相対的寄与度を比較する。

実験結果

リサーチクエスチョン

• RQ1 対数え上げに基づく全体的な分割比較インデックスは、個々のクラスターレベルでの一致をどのように反映しているか？
• RQ2 なぜランダム係数や補正ランダム係数のようなインデックスは、しばしば0.7から1の間の高い値を示すのか？
• RQ3 対数え上げインデックスの値が、どちらの分割においても結合されていない対の数にどれほど依存しているのか？
• RQ4 クラスターサイズの不均衡は、これらのインデックスが小さなクラスターと大きなクラスターでの一致にどれほど感応するかにどのように影響するか？
• RQ5 どの種類のインデックスが、クラスターバリデーションにおける小さなクラスターの回復評価に最も情報的か？

主な発見

• ランダム係数や補正ランダム係数のような全体的な対数え上げインデックスは、クラスターサイズの2乗に比例する重み付き平均として、クラスターレベルの一致度インデックスの重み付き平均である。
• ウォレス係数に基づくインデックス（例：ジャッカード係数、フウルクス＝マローズ係数）は、クラスターサイズの不均衡に極めて敏感であり、主に大きなクラスターでの一致を反映しており、小さなクラスターに関する情報はほとんど提供しない。
• ランダム係数に類するインデックスは、どちらの分割においても結合されていない対の数に支配されており、これが一貫して高い値（通常0.7から1の間）を示す理由を説明している。
• すべての検討された例において、結合されていない対の相対的重み（例：(N−P)/N）が、結合された対の相対的重み（P/N）よりもはるかに大きかった。これは、結合されていない対がインデックス値を決定づけていることを確認している。
• 分解の結果、クラスターサイズの不均衡が系統的なバイアスをもたらすことが示された。大きなクラスターは、小さなクラスターの回復が不十分であっても、全体のインデックス値に顕著に寄与する。
• 本研究は、情報理論的インデックスもクラスターサイズの不均衡に敏感であることを確認したが、対数え上げインデックスと比較してより複雑なメカニズムを通じてそうである。