[論文レビュー] Unsupervised Community Detection with Modularity-Based Attention Model

Ivan Lobov, Sergey Ivanov|arXiv (Cornell University)|May 20, 2019

Advanced Graph Neural Networks参考文献 22被引用数 6

ひとこと要約

本稿では、注意メカニズムと微分可能で柔らかくモジュラリティを最適化する損失関数を組み合わせた、未学習のコミュニティ検出モデルを提案する。1つのグラフ上でエンドツーエンドで訓練し、ベーゼ・ヘシアン埋め込みで初期化することで、古典的手法や教師ありGNNと同等あるいはそれ以上の性能を達成する。特に、関連的（associative）および非関連的（disassociative）なSSBM設定において、モジュラリティおよびNMI指標で優れた結果を示す。

ABSTRACT

In this paper we take a problem of unsupervised nodes clustering on graphs and show how recent advances in attention models can be applied successfully in a "hard" regime of the problem. We propose an unsupervised algorithm that encodes Bethe Hessian embeddings by optimizing soft modularity loss and argue that our model is competitive to both classical and Graph Neural Network (GNN) models while it can be trained on a single graph.

研究の動機と目的

• ラベル付きデータや複数のグラフを必要としない完全な教師なしコミュニティ検出手法の開発。
• 1つのグラフ上でエンドツーエンドで訓練可能な、注意メカニズムと微分可能な柔らかくモジュラリティを最適化する目的関数の統合。
• 関連的および非関連的SSBM設定の両方において、古典的手法および最先端の教師ありGNNと比較してモデルの性能を評価すること。
• 適切な初期化を伴うモジュラリティに基づく損失関数が、教師なし学習でも優れた性能を発揮できることを示すこと。
• 教師なし設定における計算効率、モデル容量、クラスタリング精度のトレードオフを調査すること。

提案手法

• ノード表現の初期化に、非バックトラッキング作用素のスペクトル的性質から導かれるベーゼ・ヘシアン埋め込みを使用する。
• マルチヘッド自己注意を備えたエンコーダ型のトランスフォーマー・アーキテクチャが、これらの埋め込みを処理し、各ノードの柔らかくクラスタへの割り当てを生成する。
• 損失関数は微分可能な柔らかくモジュラリティの目的関数である：$ M = -\text{tr}(UBU^T)/||A||_1 $、ここで $ U $ はノードからコミュニティへの確率行列、$ B = A - dd^T/||A||_1 $ である。
• バランスの取れたコミュニティサイズを促進する正則化項 $ R = \sum_c (\sum_i U_{ic} - 1/C)^2 $ を導入する。
• 非関連的設定（SNR ≤ 1）では、モジュラリティの符号表記に合わせるため損失関数を符号反転する：$ L_d = -M + \lambda R $。
• Adam最適化アルゴリズムを用い、エポックの早期停止を適用してエンドツーエンドで訓練し、モジュラリティ、NMI、オーバーラップ指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で注意メカニズムを備えたモデルは、ラベルなしでも競争力のあるコミュニティ検出性能を達成できるか？
• RQ2 ノード埋め込みの初期化方法の選択（例：ベーゼ・ヘシアン vs. ランダム）がクラスタリング性能に与える影響は何か？
• RQ3 モジュラリティに基づく損失関数は、1つのグラフ上で有効な教師なし学習を可能にするか？
• RQ4 本稿で提案するモデルは、教師ありGNN（例：LGNN）および古典的手法（例：Louvain、ベーゼ・ヘシアン）と比較して、関連的および非関連的SSBM設定の両方でどのように性能を発揮するか？
• RQ5 ラベルからのインダクティブバイアスなしに、異なるグラフ構造およびコミュニティ構造に一般化できるか？

主な発見

• 関連的データセットにおいて、Attention-Beteh Hessian（Attention-BH）モデルは0.51という最高のモジュラリティスコアを達成し、教師ありLGNN（0.50）を上回った。
• 非関連的データセットでは、Attention-BHモデルは-0.18のモジュラリティを達成し、最適値-0.20に最も近づき、NMI（0.11）およびオーバーラップ（0.22）の両方で他のすべてのモデルを上回った。
• ベーゼ・ヘシアン初期化を用いたモデルは、全指標においてランダム初期化を上回り、教師なし学習におけるインダクティブバイアスの重要性を示した。
• 柔らかくモジュラリティ損失関数により、ラベルなしでも効果的な学習が可能となり、情報-計算ギャップ領域（SNR ≤ 1）でさえも競争力のある結果を達成した。
• NMIおよびオーバーラップ指標において、古典的手法（例：ベーゼ・ヘシアン、Louvain）を上回ったほか、微分可能でエンドツーエンド最適化が可能な利点も有していた。
• アブレーションスタディにより、注意メカニズムとモジュラリティに基づく損失関数の組み合わせが性能向上の鍵であることが確認された。ランダム初期化や注意機構なしのモデルは著しく性能を発揮しなかった。