[論文レビュー] Normalized mutual information is a biased measure for classification and community detection

Maximilian Jerdee, Alec Kirkley+1 more|arXiv (Cornell University)|Jul 3, 2023

Complex Network Analysis Techniques被引用数 5

ひとこと要約

本稿は、クラスタリングおよびコミュニティ検出の評価において、正規化相互情報量（NMI）に内在する2つの根本的バイアスを特定する。その2つは（1）連関表の情報含量を無視すること、（2）対称的正規化がアルゴリズム出力に誤った依存性を導入することである。著者らは、真のラベルのエントロピーでのみ正規化される非対称的かつ削減済み相互情報量を提案し、両方のバイアスを排除し、完全一致が正確に1となることを保証する。LFRベンチマークネットワークを用いた数値実験では、新しい測定法を用いることで、従来のNMIが好んでいた過剰分割アルゴリズムが正しくペナルティを受けるなど、アルゴリズムの順位付けが顕著に変化することが示された。

ABSTRACT

Normalized mutual information is widely used as a similarity measure for evaluating the performance of clustering and classification algorithms. In this paper, we argue that results returned by the normalized mutual information are biased for two reasons: first, because they ignore the information content of the contingency table and, second, because their symmetric normalization introduces spurious dependence on algorithm output. We introduce a modified version of the mutual information that remedies both of these shortcomings. As a practical demonstration of the importance of using an unbiased measure, we perform extensive numerical tests on a basket of popular algorithms for network community detection and show that one's conclusions about which algorithm is best are significantly affected by the biases in the traditional mutual information.

研究の動機と目的

• 標準的な正規化相互情報量（NMI）がクラスタリングおよびコミュニティ検出アルゴリズムの評価に用いられる際の2つの根本的バイアスを特定し、分析すること。
• NMIにおける対称的正規化が、候補ラベルリングに誤った依存性を導入し、性能順位を歪めることを示すこと。
• 連関表の情報含量を無視することで、特に過剰分割ソリューションにおいて類似度が過大評価されることを示すこと。
• 真のラベルのエントロピーでのみ正規化される非対称的かつ削減済み相互情報量を提案し、バイアスがなく、完全一致が正確に1となることを保証すること。
• LFRベンチマークを用いたネットワークコミュニティ検出における広範な数値実験を通じて、新しい測定法の妥当性を検証し、アルゴリズム順位が類似度測定法の選択に極めて敏感であることを示すこと。

提案手法

• 連関表の構造に基づく削減項を適用する修正された相互情報量測定法を提案し、過剰分割ソリューションへのバイアスを是正すること。
• 真のラベルのエントロピーでのみ相互情報量を正規化する非対称的正規化を導入し、対称的正規化によるバイアスを排除すること。
• 新しい測定法を、削減済み相互情報量を真のラベルのエントロピーで割ったものとして定義し、上界が1で抑えられ、完全一致時に正確に1を達成することを保証すること。
• ディリクレ-多項分布モデルを用いて、ランダムラベリング下での期待連関表を推定し、相互情報量における削減項の算出を可能にすること。
• LFRベンチマークからの合成ネットワーク（真のコミュニティ構造を有する）を用い、大規模な評価フレームワークを実装すること。
• 複数のNMIバリエーション（対称的正規化、最小正規化、幾何的正規化）を、代表的なコミュニティ検出アルゴリズムのスイートに対して比較すること。

実験結果

リサーチクエスチョン

• RQ1 正規化相互情報量における対称的正規化は、クラスタリングアルゴリズムの評価に系統的なバイアスをもたらすか？
• RQ2 連関表の情報含量を無視することで、クラスタリング評価における類似度スコアがどれほど誤解を招くか？
• RQ3 修正された非対称的正規化された相互情報量測定法は、標準NMIに知られている2つのバイアスを同時に解消しつつ、解釈可能性を保ったまま実現可能か？
• RQ4 提案されたバイアスのない測定法を用いることで、コミュニティ検出のアルゴリズム順位は従来のNMIバリエーションとどのように変化するか？
• RQ5 提案された測定法は、完全一致に正確に1を割り当てる一意なバイアスのない正規化法か？

主な発見

• 標準的な対称的正規化された相互情報量はバイアスを有する。その正規化要因が、真のラベルだけでなく候補ラベルリングにも依存するため、誤った性能順位が生じる。
• 提案された非対称的かつ削減済み相互情報量測定法は、完全一致が正確に1となる唯一の正規化法であり、候補ラベルリングに対してバイアスがない。
• LFRベンチマークネットワークにおける数値実験では、真のラベルより多くのコミュニティを生成するアルゴリズムが、従来のNMIでは誤って好まれるが、新しい測定法では正しくペナルティが与えられる。
• 新しい測定法は、複数のネットワークパラメータにわたる一貫したアルゴリズム性能の再順位付けを示しており、対称的NMIバリエーションを上回る順位付けの正確性を示している。
• 新しい測定法の上界は正確に1であり、これは候補ラベルリングと真のラベルリングがラベルの置換を除いて同一である場合にのみ達成される。これは、n=200までのすべてのテストケースで数値的に証明された。
• 単一ノードの誤ラベリング下でも、真のラベルリングが削減済み相互情報量の局所的最大値として安定していることが解析的に確認され、測定法が小さな摂動に対して頑健であることが示された。