[論文レビュー] Clustering Validation with The Area Under Precision-Recall Curves

Pablo Andretta Jaskowiak, Ivan G. Costa|arXiv (Cornell University)|Apr 4, 2023

Data-Driven Disease Surveillance被引用数 4

ひとこと要約

本稿では、クラスタサイズの不均衡が顕著な状況においても有効な相対的クラスタリング妥当性指標（CVI）として、適合率-再現率曲線の下側面積（AUPR）およびその対称版（SAUPRC）の使用を提案する。実証的に、AUPRに基づくCVI、特にSAUPRCが、シルエットやAUCCといった既存の指標よりも、バランスの取れたデータおよび不均衡なデータの両方で優れた性能を示すことが示され、教師あり学習の評価手法に類似した統一的かつ信頼性の高い非教師あり学習評価フレームワークを提供する。

ABSTRACT

Confusion matrices and derived metrics provide a comprehensive framework for the evaluation of model performance in machine learning. These are well-known and extensively employed in the supervised learning domain, particularly classification. Surprisingly, such a framework has not been fully explored in the context of clustering validation. Indeed, just recently such a gap has been bridged with the introduction of the Area Under the ROC Curve for Clustering (AUCC), an internal/relative Clustering Validation Index (CVI) that allows for clustering validation in real application scenarios. In this work we explore the Area Under Precision-Recall Curve (and related metrics) in the context of clustering validation. We show that these are not only appropriate as CVIs, but should also be preferred in the presence of cluster imbalance. We perform a comprehensive evaluation of proposed and state-of-art CVIs on real and simulated data sets. Our observations corroborate towards an unified validation framework for supervised and unsupervised learning, given that they are consistent with existing guidelines established for the evaluation of supervised learning models.

研究の動機と目的

• 教師あり学習における評価フレームワークと同等の包括的で洗練されたクラスタリング妥当性評価フレームワークの不足を解消すること。
• クラスタサイズの不均衡が顕著な状況においても、適合率-再現率曲線に基づく指標（AUPR）が相対的CVIとして有効であるかどうかを調査すること。
• バランスの取れたデータと不均衡なデータの両方で一貫した性能を示す統一された評価フレームワークを提供し、クラスタリング妥当性評価を教師あり学習の標準的手法に整合させること。
• AUPRベースのCVIが、さまざまな不均衡度を有する合成データおよび実世界のデータにおいて、最先端の指標と比較してどの程度の性能を示すかを評価すること。
• SAUPRCがバランスの取れたデータと不均衡なデータの両方で優れた性能を示し、一般化されたクラスタリング妥当性評価の強固な選択肢であることを実証すること。

提案手法

• 適合率-再現率曲線の下側面積（AUPRC）に基づく3つの新しい相対的CVIを提案し、AUPRCとAUIPRCを組み合わせた対称版（SAUPRC）を含む。
• クラスタリングに適用するため、二値分類における適合率-再現率曲線フレームワークを、基準パーティションに対するクラスタ割り当てを二値予測とみなす形に変換する。
• 外部基準パーティションを真のラベルとして用い、すべてのオブジェクトペア間のクラスタ割り当てを対比してAUPRおよびAUIPRCスコアを算出する。
• AUPRCとAUIPRCの平均をとることでバランスの取れたデータと不均衡なデータの両方で安定した性能を達成する、対称的AUPRC（SAUPRC）をハイブリッド指標として用いる。
• 制御されたクラスタ不均衡を有する合成データセットおよびタブラ・ムリス計画からの単一細胞RNA-Seqデータを用い、提案されたCVIを適用する。
• 調整ランダムインデックス（ARI）を外部ベンチマークとして用い、提案されたCVIを既存の指標（例：シルエット、AUCC、ダン、Cインデックス）と比較する。

Figure 2: Characterization of cluster size imbalance in the distinct evaluation scenarios.

実験結果

リサーチクエスチョン

• RQ1 適合率-再現率曲線の下側面積（AUPR）は、信頼性のある相対的クラスタリング妥当性指標として機能できるか？
• RQ2 クラスタサイズの不均衡度が変化する状況下で、AUPRベースのCVIは既存のCVIと比較してどの程度の性能を示すか？
• RQ3 AUPRCとAUIPRCを組み合わせた対称的AUPRC（SAUPRC）は、バランスの取れたデータと不均衡なデータの両方のクラスタリング状況で、優れた安定性と性能を示すか？
• RQ4 AUPRベースの指標は、特に不均衡な状況下で、教師あり学習で一般的に用いられる評価ガイドラインとどの程度整合するか？
• RQ5 AUPRベースのCVIは、単一細胞ゲノムデータセットのように固有のクラスタ不均衡を有する実世界の生物学的データに効果的に適用可能か？

主な発見

• SAUPRCは、バランスの取れたデータでも調整ランダムインデックス（ARI）との中央値相関が0.75を超える高い性能を示し、シルエットやAUCCといった既存のCVIを上回った。
• 極度に不均衡なデータ（90％の不均衡）では、SAUPRCの中央値相関値が1.0に近づき、外部ベンチマークと強い整合性を示した。
• AUPRCおよびSAUPRCは、クラスタ不均衡度が高くなるに従い性能が向上し、中央値相関がバランスの取れた状況（約0.75）から90％不均衡状況（約0.95）に上昇した。
• 一方、PB（ポイント・ビセラル）およびPBMのCVIは不均衡度が高くなると著しく劣化し、90％不均衡状況では中央値相関が-1.0にまで低下した。
• AUCCおよびDBは不均衡度の変化にかかわらず安定した性能を示したが、両方の状況でSAUPRCに劣った。
• C/Sqrt(k)はバランスの取れたデータではARIと負の一致を示したが、不均衡度が高くなるに従い改善したが、中央値相関は0.5未満にとどまり、やや中程度の性能にとどまった。

Figure 3: Boxplots depict correlation between the evaluations of each relative CVI and those of the Adjusted Rand Index (ARI), i.e., the external CVI. Results are sorted according to the average correlation value, which is indicated by a circle in each boxplot.