[論文レビュー] Adjusting the adjusted Rand Index -- A multinomial story

Martina Sundqvist, Julien Chiquet+1 more|arXiv (Cornell University)|Nov 17, 2020

Advanced Clustering Algorithms Research参考文献 11被引用数 5

ひとこと要約

本稿では、従来の調整ランダックス（ARI）が超幾何分布に依存する統計的欠陥を是正するため、多項分布モデルに基づく修正された調整ランダックス（MARI）を提案する。ARIは固定されたクラスターサイズを仮定するが、MARIは類似性に基づくペアにのみ注目し、より現実的な多項分布モデルに基づいて調整することで、小標本サイズにおけるARIに見られるバイアスを除去し、解釈可能性が高く、柔軟性に富み、統計的に妥当な代替指標を提供する。この指標はデータサイズに応じて効率的にスケーリング可能である。

ABSTRACT

The Adjusted Rand Index ($ARI$) is arguably one of the most popular measures for cluster comparison. The adjustment of the $ARI$ is based on a hypergeometric distribution assumption which is unsatisfying from a modeling perspective as (i) it is not appropriate when the two clusterings are dependent, (ii) it forces the size of the clusters, and (iii) it ignores randomness of the sampling. In this work, we present a new "modified" version of the Rand Index. First, we redefine the $MRI$ by only counting the pairs consistent by similarity and ignoring the pairs consistent by difference, increasing the interpretability of the score. Second, we base the adjusted version, $MARI$, on a multinomial distribution instead of a hypergeometric distribution. The multinomial model is advantageous as it does not force the size of the clusters, properly models randomness, and is easily extended to the dependant case. We show that the $ARI$ is biased under the multinomial model and that the difference between the $ARI$ and $MARI$ can be large for small $n$ but essentially vanish for large $n$, where $n$ is the number of individuals. Finally, we provide an efficient algorithm to compute all these quantities ($(A)RI$ and $M(A)RI$) by relying on a sparse representation of the contingency table in our exttt{aricode} package. The space and time complexity is linear in the number of samples and importantly does not depend on the number of clusters as we do not explicitly compute the contingency table.

研究の動機と目的

• 調整ランダックス（ARI）の統計的限界を是正すること。ARIはクラスターサイズを固定する超幾何分布に依存しており、標本のランダム性を無視する。
• 類似性に基づくペアにのみ注目することで、解釈可能性を高めたクラスタリング比較指標の開発。差異に基づくペアは除外する。
• 依存するクラスタリングを自然に扱える多項分布モデルに基づく新しい調整ランダックス（MARI）の提案。超幾何モデルが強い仮定を必要としない。
• 多項分布モデル下でARIがバイアスを示すことを示し、特に小標本サイズにおいて顕著であることを確認。このバイアスはnが増加するにつれて消失する。
• スパースな連関表表現を用いて、ARIおよびMARIをO(n)時間と空間計算量で効率的に計算するアルゴリズムの提示。Rパッケージaricodeに実装済み。

提案手法

• 解釈可能性を向上させるために、類似性に基づくペア（同じクラスタに属するか、異なるクラスタに属するペア）にのみ注目し、差異に基づくペアを除外することでランダックスを再設計する。
• クラスタリング割り当ての多項分布モデル下でのランダックスの期待値を導出する。このモデルではクラスターサイズが固定されておらず、標本のランダム性を適切にモデル化できる。
• 多項分布モデル下での期待値を差し引くことでARIのバイアスを是正し、新たなMARI推定量を導出する。
• 連関表のスパース表現を用いて、すべての指標（ARI、MARI）をクラスタ数に依存しないO(n)時間・空間計算量で計算する。
• 多項分布モデル下でのARIバイアスを真の連関表確率の関数として定式化し、これがO(1/n)であることを示し、漸近的に消失することを示す。
• Kとnを変化させた3つの異なる依存状況（非比例対角、非比例対角に伴う非対角項、1つの非比例行/列）の下でシミュレーションを実施し、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 多項分布モデル下でのクラスタリング割り当てにおいて、従来のARIのバイアスは小標本サイズにおいてどのように振る舞うか？
• RQ2 クラスターサイズが固定されておらず、標本のランダム性が存在する状況で、ARIは真のクラスタリング類似度を過大評価または過小評価する程度はどの程度か？
• RQ3 多項分布モデルに基づく新しい調整ランダックス（MARI）は、ARIに内在するバイアスを解消しつつ、計算効率を維持できるか？
• RQ4 類似性に基づくペアにのみ注目することで、ランダックスの解釈可能性はどの程度向上するか？
• RQ5 MARIの計算複雑度はARIと比較してどの程度か？また、完全な連関表を明示的に構築せずに実現可能か？

主な発見

• 多項分布モデル下でARIはバイアスを示す。そのバイアスは8/nで有界であり、O(1/n)である。n → ∞の極限で消失する。
• 小標本（例：n < 64）ではARIのバイアスは顕著で、絶対値で最大0.04に達する可能性があり、誤った結論を導くおそれがある。
• 小標本ではARIとMARIの差は顕著だが、標本サイズが増加するにつれて急速に小さくなり、n > 200では無視できるほどになる。
• MARIは計算が効率的であり、O(n)の時間・空間計算量を達成している。これはスパースな連関表表現により実現され、明示的なO(KL)計算を回避している。
• MARIは統計的により妥当である。固定されたクラスターサイズを仮定せず、標本のランダム性を適切にモデル化し、依存するクラスタリングに自然に拡張可能である。
• 3つのシナリオ（非比例対角、非比例対角に伴う非対角項、1つの非比例行/列）におけるシミュレーションにより、ほとんどのKとnにおいてバイアスは moderate であることが確認されたが、特に小標本かつ高不均衡状況で顕著に現れる。