[論文レビュー] Condorcet's Jury Theorem for Consensus Clustering and its Implications for Diversity

Brijnesh J. Jain|arXiv (Cornell University)|Apr 26, 2016

Data Management and Algorithms参考文献 40被引用数 3

ひとこと要約

この論文は、平均分割アプローチにおけるコンSENSUSクラスタリングに、コンドルセの陪審員理論を拡張し、一意な真の分割の周囲の小さな近傍から標本分割が抽出される場合、分割数が増加するにつれてコンセンサス結果が真の分割に収束することを示している。一般的な信念とは対照的に、本研究は標本分割の過剰な多様性がコンセンサス品質を損なう可能性があると主張し、信頼性の高いクラスタリング結果を得るためには多様性を制限することが不可欠であると示唆している。

ABSTRACT

Condorcet's Jury Theorem has been invoked for ensemble classifiers to indicate that the combination of many classifiers can have better predictive performance than a single classifier. Such a theoretical underpinning is unknown for consensus clustering. This article extends Condorcet's Jury Theorem to the mean partition approach under the additional assumptions that a unique ground-truth partition exists and sample partitions are drawn from a sufficiently small ball containing the ground-truth. As an implication of practical relevance, we question the claim that the quality of consensus clustering depends on the diversity of the sample partitions. Instead, we conjecture that limiting the diversity of the mean partitions is necessary for controlling the quality.

研究の動機と目的

• アンサンブル分類におけるコンドルセの陪審員理論に類する、コンセンサスクラスタリングの理論的基盤を提供すること。
• 標本分割の多様性がコンセンサスクラスタリングのパフォーマンスを向上させるか、あるいは低下させるかを調査すること。
• 高次の多様性がコンセンサスクラスタリングの品質を向上させるという一般的な仮定に挑戦すること。
• 平均分割が真の分割に収束する条件を形式化すること。

提案手法

• 標本分割の集合に対する投票プロセスとしてコンセンサスクラスタリングをモデル化し、ユークリッドノルムによって誘導される距離空間構造を用いた平均分割アプローチを採用する。
• 標本分割が真の分割の周囲の小さな球から独立同分布に従って抽出されると仮定する。
• 平均分割定理を適用して、標本分割数が増加するにつれてコンセンサス分割が真の分割にほとんど確実に収束することを示す。
• 二項分布を用いて、各データポイントを正しく分類する標本分割の過半数が得られる確率を計算する。
• 各データポイントの分類を二値の投票とみなして、メンバー関係ベクトルの内積を用いてコンセンサス分割と真の分割の一致度を定義する。
• フレシェ平均および距離空間における統計的収束に関する結果を活用して、経験的平均分割が期待値分割にほとんど確実に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 標本分割の平均分割が真の真の分割に収束する条件は何か？
• RQ2 標本分割の多様性はコンセンサスクラスタリングの品質を向上させるか、それとも劣化させるか？
• RQ3 平均化アプローチに距離に基づくものを使うコンセンサスクラスタリングの文脈において、コンドルセの陪審員理論を拡張できるか？
• RQ4 真の分割の周囲の近傍サイズがコンセンサス結果の収束を保証するために果たす役割は何か？
• RQ5 なぜコンセンサスクラスタリングにおける多様性の役割に関する実験的研究では、矛盾した結果が得られるのか？

主な発見

• 標本分割が真の分割の十分に小さな球から抽出される限り、コンセンサス分割はほとんど確実に真の分割に収束する。
• 各標本分割の正答確率が0.5より大きい限り、標本分割数が増加するにつれて、データポイントを正しく分類する標本分割の過半数が得られる確率は1に近づく。
• 本研究は、多様性がコンセンサスクラスタリングを向上させるという一般的な常識に反し、むしろ多様性を制限することが品質を制御するために不可欠であると示唆している。
• 多様性の役割に関する実験的矛盾は、本研究が形式化したように、分割類似度に理論的制約が欠如していることに起因する可能性がある。
• 一意な真の分割と、その周囲の小さな近傍からのi.i.d.抽出という仮定のもとで、収束結果は成り立つ。
• 理論的枠組みは、コンドルセの陪審員理論がアンサンブル分類に与える正当化と同様に、コンセンサスクラスタリングを正当化するものである。