[論文レビュー] Descriptive vs. inferential community detection in networks: pitfalls, myths, and half-truths

Tiago P. Peixoto|arXiv (Cornell University)|Nov 30, 2021

Complex Network Analysis Techniques被引用数 13

ひとこと要約

この論文は、記述的コミュニティ検出と推論的コミュニティ検出の違いを明確にし、モデュラリティ最大化のような記述的手法が、統計的落とし穴により推論的目的では失敗すると主張している。代わりに、生成モデル（例：スチュアティックブロックモデル）に基づく推論的アプローチを提唱しており、これによりネットワーク構造と形成メカニズムに関する統計的に根拠のある、頑健な洞察が得られる。

ABSTRACT

Community detection is one of the most important methodological fields of network science, and one which has attracted a significant amount of attention over the past decades. This area deals with the automated division of a network into fundamental building blocks, with the objective of providing a summary of its large-scale structure. Despite its importance and widespread adoption, there is a noticeable gap between what is arguably the state-of-the-art and the methods that are actually used in practice in a variety of fields. Here we attempt to address this discrepancy by dividing existing methods according to whether they have a "descriptive" or an "inferential" goal. While descriptive methods find patterns in networks based on context-dependent notions of community structure, inferential methods articulate generative models, and attempt to fit them to data. In this way, they are able to provide insights into the mechanisms of network formation, and separate structure from randomness in a manner supported by statistical evidence. We review how employing descriptive methods with inferential aims is riddled with pitfalls and misleading answers, and thus should be in general avoided. We argue that inferential methods are more typically aligned with clearer scientific questions, yield more robust results, and should be in many cases preferred. We attempt to dispel some myths and half-truths often believed when community detection is employed in practice, in an effort to improve both the use of such methods as well as the interpretation of their results.

研究の動機と目的

• 記述的コミュニティ検出と推論的コミュニティ検出の根本的違いを明確にすること。
• 特にモデュラリティ最大化に代表される、広く用いられている記述的手法における統計的欠陥と誤解を暴露すること。
• 生成モデルに基づく推論的アプローチが科学的探究と整合しており、より信頼性の高い結果をもたらすと主張すること。
• ネットワーク科学における記述的手法の誤用を長引かせる常識的でない神話や部分的な真実を解体すること。
• 正確で統計的に妥当なコミュニティ検出を実現するため、原理的で整合性のある推論的手法の採用を促すこと。

提案手法

• コミュニティ検出手法を、文脈依存的な定義に基づくパターン探索に依存する記述的（descriptive）と、生成モデルに基づくモデル適合に依存する推論的（inferential）に分類する。
• リトムテストを用いる：ネットワーク形成の説明や構造とランダム性の分離が目的である場合、推論的アプローチが必須である。
• スチュアティックブロックモデル（SBMs）を用いた統計的推論により、データに生成モデルを適合させ、ベイズ的証拠、MDL、またはBICを用いてモデル選択を実施する。
• 推論的アプローチが、ランダム性とモデルの不確実性を明示的にモデル化することで、過剰適合と解像度限界の問題を回避できることを示す。
• マルコフ連鎖モンテカルロ（MCMC）およびマージ・スプリットMCMCを用いて、コミュニティ分割の事後分布推論を実施する。
• ヒューリスティックな手法（例：モデュラリティ最大化、スペクトルクラスタリング、コンセンサスクラスタリング）と対比し、それらの統計的欠陥を強調する。

実験結果

リサーチクエスチョン

• RQ1 記述的コミュニティ検出と推論的コミュニティ検出の違いは何であり、なぜこの違いが科学的妥当性にとって重要なのか？
• RQ2 モデュラリティ最大化は、広く使われているものの、推論的目的では根本的に欠陥を抱えているのはなぜか？
• RQ3 解像度パラメータや有意性検定といった一般的な対策が、過剰適合や偽陽性の問題を実際にどれほど解消できるのか？
• RQ4 『コンセンサスクラスタリングは過剰適合を排除する』や『モデュラリティとSBMは同等である』といった神話がなぜ広まり、誤解を招いているのか？
• RQ5 推論的アプローチはスケーラブルに実装可能なのか？また、ヒューリスティックな代替手法よりも実際にコストが高く、効果が劣るのだろうか？

主な発見

• モデュラリティ最大化のような記述的手法は、原則的なモデル適合フレームワークが欠落しているため、推論的目的では統計的に無効である。
• モデュラリティ最大化は解像度限界と過剰適合の問題を抱えており、パラメータチューニングやノイズモデルの置き換えでは、これらを完全に解消できない。
• コンセンサスクラスタリングは過剰適合を排除しない。単に複数回の実行で同じ欠陥を有するパターンを集約しているにすぎない。
• 品質関数の統計的有意性検定は、適切な生成モデルが欠落している限り、誤解を招くものであり、根本的な欠陥を是正できない。
• スチュアティックブロックモデルに基づく推論的アプローチは、信号とノイズを分離でき、ベイズ的証拠や情報基準を用いたモデル選択を可能にする統計的に妥当な推論を提供する。
• 生成モデルが正確に真実でなくても有用であるという誤解は神話に過ぎない。MDL、BIC、AICによるモデル選択により、モデルが近似であっても頑健性が保証される。