[論文レビュー] Evaluation Metrics for Unsupervised Learning Algorithms

Julio-Omar Palacio-Niño, Fernando Berzal|arXiv (Cornell University)|May 14, 2019

Advanced Clustering Algorithms Research参考文献 19被引用数 98

ひとこと要約

クラスタリング評価基準の調査で、Kleinbergの公理、内部/外部検証指標、および教師なし学習のハイパーパラメータ調整戦略を詳述します。

ABSTRACT

Determining the quality of the results obtained by clustering techniques is a key issue in unsupervised machine learning. Many authors have discussed the desirable features of good clustering algorithms. However, Jon Kleinberg established an impossibility theorem for clustering. As a consequence, a wealth of studies have proposed techniques to evaluate the quality of clustering results depending on the characteristics of the clustering problem and the algorithmic technique employed to cluster data.

研究の動機と目的

• ラベルが欠如している教師なし学習において、クラスタリング品質を評価する必要性を動機づける。
• Kleinbergの不可能性定理と、それが望ましいクラスタリング特性に及ぼす意味を回顧する。
• クラスタリング結果の評価基準（内部および外部）の分類法を説明する。
• 一般的に用いられる内部、外部、および情報理論的検証指標を概説する。
• クラスタリングアルゴリズムにおけるハイパーパラメータ調整のアプローチを概説する。

提案手法

• Kleinbergの3つの公理：スケール不変性、豊富さ、一貫性について議論する。
• クラスタ評価手法の分類（内部、外部、情報理論的）を提示する。
• 具体的な内部検証指標（結合度、分離、シルエット、CPCC など）を説明する。
• 具体的な外部検証指標（マッチングセット、ピア・トゥ・ピア相関、情報理論的指標）を説明する。
• ハイパーパラメータ調整戦略（グリッド/ランダム/Smart検索）とnc選択の Knee/Elbow法を説明する。

実験結果

リサーチクエスチョン

• RQ1 Kleinbergの公理によりクラスタリング品質に課される理論上の限界は何か？
• RQ2 異なるアルゴリズムパラダイムの下で、どの評価基準と指標がクラスタリング品質を最も適切に捉えるか？
• RQ3 内部・外部・情報理論的指標をどのように適用してクラスタリング結果を評価できるか？
• RQ4 性能向上のためにクラスタリングのハイパーパラメータを調整する戦略にはどのようなものがあるか？

主な発見

• Kleinbergの不可能性定理は、いかなるクラスタリング関数も3つの公理を同時に満たすことはできないことを示している。
• 内部情報なしで内部検証指標、または外部情報を用いる外部検証指標の広範なスペクトルが存在する。
• 内部検証は結合度と分離に焦点を当て、シルエットやCPCCなどの指標はアルゴリズムタイプによって適用可能性が異なる。
• 外部検証は、マッチングされた分割、ペアワイズ相関、および情報理論的指標を用いて、クラスタリングを参照分割と比較する。
• クラスタリングのハイパーパラメータ調整には、グリッド/ランダム/Smart検索戦略を用いることができ、 Knee/Elbow ヒューリスティックはクラスタ数の選択を支援する。