[論文レビュー] Adjusted Concordance Index, an extension of the Adjusted Rand index to fuzzy partitions

Sonia Amodio, Antonio D’Ambrosio+2 more|arXiv (Cornell University)|Sep 2, 2015

Advanced Clustering Algorithms Research参考文献 16被引用数 5

ひとこと要約

本稿では、正規化一致度（NDC）を用いた確率的パーティションのための適合度を補正する、調整済み一致係数（ACI）を提案する。ACIは、NDCの期待値を置換に基づく推定によってランダム性を補正することで、確率的クラスタリングの外部妥当性評価をより信頼性が高く、一貫性と解釈可能性に優れたものにしている。特に、所属確率が0.5に近い場合や、確率的パーティションとクリップスパーティションを比較する場合に、既存の手法を上回る性能を示す。

ABSTRACT

In comparing clustering partitions, Rand index (RI) and Adjusted Rand index (ARI) are commonly used for measuring the agreement between the partitions. Both these external validation indexes aim to analyze how close is a cluster to a reference (or to prior knowledge about the data) by counting corrected classified pairs of elements. When the aim is to evaluate the solution of a fuzzy clustering algorithm, the computation of these measures require converting the soft partitions into hard ones. It is known that different fuzzy partitions describing very different structures in the data can lead to the same crisp partition and consequently to the same values of these measures. We compare the existing approaches to evaluate the external validation criteria in fuzzy clustering and we propose an extension of the ARI for fuzzy partitions based on the normalized degree of concordance. Through use of real and simulated data, we analyze and evaluate the performance of our proposal.

研究の動機と目的

• 確率的パーティションに適用される既存の外部妥当性指標（ランダム係数や調整済みランダム係数）の限界、特にソフト所属度のハード化を要する点、および誤った結果を生じる可能性がある点を解決すること。
• クリップス化を必要とせず、確率的パーティションの構造を保持する新しい指標を提案することで、クラスタリング解の評価をより正確にすること。
• 類似度比較におけるランダムネスを考慮する指標を開発し、確率的クラスタリングの外部妥当性評価における一貫性と解釈可能性を向上させること。
• 提案された調整済み一致係数（ACI）が、実データおよびシミュレートデータにおいて、既存のランダム係数の拡張手法と比較してどの程度の性能を示すかを評価すること。
• ACIが確率的およびルスピンイパーティションにおいて、反射性や適切な距離関数の性質といった望ましい性質をどのように維持するかを示すこと。

提案手法

• Huberleierら（2012）が提唱した正規化一致度（NDC）を拡張し、ランダム性に起因する一致を補正する調整済み一致係数（ACI）を導出する。
• ACIは、観測されたNDCと、類似度行列の置換に基づくランダムな状況下での期待NDCとの差を計算し、その差を正規化することで得られる。
• 期待NDCは、所属確率の多数のランダム置換を用いたモンテカルロシミュレーションによって推定される。
• 本手法は、ハードパーティションへの変換を経由せず、所属度行列の直接処理により元の確率的構造を保持する。
• ACIは、パーティションを自身と比較する際に1.0になる反射性を有するとともに、ランダム性下での期待値が明確に定義されている。
• 本手法は、実データ（Iris, Sonar, Vehicle, Ionosphere, Flags）およびシミュレートデータを用いて検証され、NDCおよび他のランダム係数に基づく拡張手法と比較されている。

実験結果

リサーチクエスチョン

• RQ1 ソフト所属度のクリップス化を要せず、確率的パーティションに意味的に意味のある調整ランダム係数を拡張する方法は何か？
• RQ2 提案された調整済み一致係数（ACI）は、確率的クラスタリング評価において、既存のランダム係数拡張手法と比較して一貫性と解釈可能性に優れているか？
• RQ3 所属確率が0.5に近い確率的パーティションにおいて、ACIはランダム性に起因する一致を効果的に補正できるか？
• RQ4 実データおよびシミュレートデータ上で、ACIはNDCおよび他のランダム係数に基づく指標と比較して、どの程度の性能を示すか？
• RQ5 ACIはどのような条件下で、確率的パーティション比較において反射性や距離関数の性質といった望ましい性質を維持するか？

主な発見

• ACIは、特に所属確率が0.5に近い場合に、NDC や他のランダム係数に基づく拡張手法よりも一貫性と解釈可能性に優れている。この場合、NDCは誤って高い値を示す可能性がある。
• Sonarデータにおいて、推定パーティションと真のパーティションを比較した際、ACIは-0.0001を示し、これはほぼランダムな一致を示しており、両方のパーティションの所属確率が0.5に近いという事実と整合的である。
• Irisデータにおいて、推定パーティションと真のパーティションを比較した際、ACIは0.9298を示し、強い一致を示している。一方、NDCは0.9780であった。これは、高いNDC値が必ずしも意味的な一致を示すわけではないことを確認している。
• ACIは反射性を満たしており、パーティションを自身と比較した場合、すべてのデータセットで1.0000を正しく返している。これに対して、他の拡張手法はこの性質を満たさない。
• 他の指標（例：Andersonら、Brouwer、Campello）とは異なり、ACIの値はより一貫しており、パーティションを自身と比較した際の値が、真のパーティションとの比較の値よりも低くなるような不自然な事例がほとんど見られない。
• PDクラスタリングアルゴリズムを用いて、研究者らは確率的基準パーティションを生成し、ACIが真の構造に高い忠実性を保ったまま、確率的クラスタリング解の妥当性を効果的に検証できることを示した。