[論文レビュー] Systematic Analysis of Cluster Similarity Indices: How to Validate Validation Measures

Martijn Gösgens, Alexey Tikhonov+1 more|arXiv (Cornell University)|Nov 12, 2019

Complex Network Analysis Techniques参考文献 25被引用数 9

ひとこと要約

本稿は、定数ベースラインや単調性といった望ましい性質を定義・分析することで、クラスタ類似度インデックスの評価と選択のための厳密な理論的枠組みを提案する。本研究では、Correlation Coefficient および Sokal & Sneath の最初のインデックスが、唯一、すべての主要な性質を満たすインデックスであると特定し、NMI や AMI のような一般的に使われているインデックスの実用的・理論的欠陥と偏りを示唆する。

ABSTRACT

Many cluster similarity indices are used to evaluate clustering algorithms, and choosing the best one for a particular task remains an open problem. We demonstrate that this problem is crucial: there are many disagreements among the indices, these disagreements do affect which algorithms are preferred in applications, and this can lead to degraded performance in real-world systems. We propose a theoretical framework to tackle this problem: we develop a list of desirable properties and conduct an extensive theoretical analysis to verify which indices satisfy them. This allows for making an informed choice: given a particular application, one can first select properties that are desirable for the task and then identify indices satisfying these. Our work unifies and considerably extends existing attempts at analyzing cluster similarity indices: we introduce new properties, formalize existing ones, and mathematically prove or disprove each property for an extensive list of validation indices. This broader and more rigorous approach leads to recommendations that considerably differ from how validation indices are currently being chosen by practitioners. Some of the most popular indices are even shown to be dominated by previously overlooked ones.

研究の動機と目的

• クラスタ類似度インデックス間の性能ランキングの不一致という深刻な問題に対処し、それが実世界のシステム性能を低下させることを防ぐ。
• 特に定数ベースラインと単調性を含む、クラスタ類似度インデックスに望ましい理論的性質を特定・形式化する。
• アプリケーション固有のニーズに基づいて、最も適切な検証インデックスを選択するための原理的で理論に基づいた手法を提供する。
• NMI や AMI のような広く使われているインデックスの理論的欠陥と偏りを示すことで、それらの優位性に疑問を呈する。
• これまでの経験的分析を統合・拡張し、ペアカウントおよび相関に基づく測度を含む広範なインデックス群に対して、形式的数学的証明を提供する。

提案手法

• 定数ベースライン、単調性、対称性を含む12の主要な性質を形式化し、理論的検証基準として用いる。
• 14種類の広く使われているクラスタ類似度インデックスについて、各性質が数学的に成立するか否かを包括的な理論的分析で検証する。
• ペアカウントインデックスにおける漸近的定数ベースラインの概念を導入し、クラスタサイズの変動に伴うベースライン挙動を厳密に評価可能にする。
• クラスタの細分化に一貫性を持つように、単調性の概念を統合・拡張し、より強固な定義を強化する。
• 実世界のデータセットとプロダクション環境のニュース集約システムを用いて、理論的発見を経験的に検証し、インデックスの不一致を実証する。
• 理論的結論を現実のユーザー行動に根ざすために、オフラインでクラスタリングアルゴリズムをランク付けし、オンライン A/B テストと照合する。

実験結果

リサーチクエスチョン

• RQ1 定数ベースラインや単調性といった最も望ましい理論的性質を満たすクラスタ類似度インデックスはどれか？
• RQ2 NMI、AMI、Rand のような一般的なインデックスが、形式的理論的吟味において、あまり使われていないインデックスと比べてどのように異なるか？
• RQ3 インデックス間の合意不一致が、実世界の応用においてアルゴリズムのランク付けに一貫性のない結果をもたらす程度はどの程度か？
• RQ4 アプリケーション固有の要件に基づいて、検証インデックスの選択を支援する統一的理論的枠組みを構築できるか？
• RQ5 AMI や NMI max のバイアスが、オンライン A/B テストによって検証された実世界のシステム性能にどの程度影響を及えるか？

主な発見

• 14種類のクラスタ類似度インデックスの中で、唯一、Correlation Coefficient および Sokal & Sneath の最初のインデックスが、距離でないという性質を除き、すべての望ましい理論的性質を満たしている。
• Correlation Coefficient が漸近的に定数ベースラインを示し、arccosine を用いて容易に距離に変換可能であることが示され、検証に極めて適している。
• NMI max や NMI といった一般的なインデックスは、人間がアノテートしたゴールドスタンダードと一致が薄いにもかかわらず、クラスタ数の多い分割を好む傾向がある。
• 実世界のニュース集約システムにおいて、オンライン A/B テストの結果、CC および S&S はユーザー体験と整合したアルゴリズムランク付けを行ったが、AMI は劣悪なアルゴリズムを誤って好んだ。
• Rand 指数はすべての10のテストデータセットで k=2 クラスタを好んだが、NMI および NMI max は8〜9例中8〜9例で k=2×ref-clusters を好んだ。これは体系的なバイアスを示している。
• AMI や F-measure などのインデックスは、小さなクラスタに対して敏感であることが判明し、クラスタサイズのバランスが重要な応用では悪影響を及ぼす可能性がある。