[論文レビュー] Graph Clustering with Dynamic Embedding

Carl Yang, Mengxiong Liu+3 more|arXiv (Cornell University)|Dec 21, 2017

Complex Network Analysis Techniques参考文献 46被引用数 11

ひとこと要約

本稿では、影響伝播と自己訓練を介して動的ノード埋め込みとクラスタリング割り当てを同時に学習する、深層非教師付きグラフクラスタリング手法GRACEを提案する。スパースでノイジーなノードコンテンツとリンク構造を、深層ノイズ除去オートエンコーダーとエンドツーエンド最適化を統合することで、6つの実世界ネットワークで最先端の性能を達成した。

ABSTRACT

Graph clustering (or community detection) has long drawn enormous attention from the research on web mining and information networks. Recent literature on this topic has reached a consensus that node contents and link structures should be integrated for reliable graph clustering, especially in an unsupervised setting. However, existing methods based on shallow models often suffer from content noise and sparsity. In this work, we propose to utilize deep embedding for graph clustering, motivated by the well-recognized power of neural networks in learning intrinsic content representations. Upon that, we capture the dynamic nature of networks through the principle of influence propagation and calculate the dynamic network embedding. Network clusters are then detected based on the stable state of such an embedding. Unlike most existing embedding methods that are task-agnostic, we simultaneously solve for the underlying node representations and the optimal clustering assignments in an end-to-end manner. To provide more insight, we theoretically analyze our interpretation of network clusters and find its underlying connections with two widely applied approaches for network modeling. Extensive experimental results on six real-world datasets including both social networks and citation networks demonstrate the superiority of our proposed model over the state-of-the-art.

研究の動機と目的

• スパースでノイジーなノードコンテンツと不完全なリンク構造を有するネットワークにおける非教師付きグラフクラスタリングの課題に対処する。
• 複雑なコンテンツ表現を捉えられず、ノイズやスパarsityに敏感な浅いモデルの限界を克服する。
• ノード表現とクラスタリング割り当てをエンドツーエンドで同時に最適化するタスクに適した深層埋め込みフレームワークを構築する。
• 影響伝播を活用して、ネットワーク全体におけるノード埋め込みの動的進化をモデル化し、より良いクラスタ検出を実現する。
• ラベル付きデータを必要としない、効率的でスケーラブルかつ自己訓練ベースの学習を可能にする。

提案手法

• スパースでノイジーなノードコンテンツからコンactで頑健な表現を学ぶために、複数の非線形層を有する深層ノイズ除去オートエンコーダーを用いる。
• ネットワーク構造とコンテンツに依存する表現に基づいて、ノード埋め込みを動的に更新するための影響伝播の原則を適用する。
• 動的埋め込みプロセスを、潜在的なコミュニティ構造を反映する安定状態に収束する反復的更新のシステムとして定式化する。
• 高信頼度の予測を用いて、トレーニング中にクラスタ割り当てを改善する、非教師付き自己訓練クラスタリング部を統合する。
• 埋め込み損失とクラスタリング目的関数を閉ループで同時に最適化することで、フレームワーク全体をエンドツーエンドで学習する。
• GPU上で学習され、大規模な実世界ネットワークへのスケーラビリティを設計している。

実験結果

リサーチクエスチョン

• RQ1 深層埋め込みは、実世界ネットワークにおけるスパースでノイジーなノードコンテンツを効果的にモデル化でき、グラフクラスタリングを向上させることができるか？
• RQ2 影響伝播を活用することで、コミュニティ構造を明らかにする形で、ノード表現を動的に進化させることは可能か？
• RQ3 ノード埋め込みとクラスタリング割り当てのエンドツーエンド連合学習は、分離または2段階的手法を上回る性能を発揮するか？
• RQ4 自己訓練を組み込むことで、限られた教師信号のもとでの非教師付き設定でクラスタリング性能が向上するか？
• RQ5 提案手法は、多様な実世界ネットワークにおいて、最先端のベースラインと比較して優れた性能を示すか？

主な発見

• GRACEは、ソーシャルネットワークやキャシオンネットワークを含む6つの実世界データセットで最先端の性能を達成し、既存の非教師付きクラスタリング手法を上回った。
• 深層コンテンツ埋め込みと影響伝播の統合により、特にノード属性がスパースでノイジーなネットワークにおいて、クラスタリング精度が顕著に向上した。
• 自己訓練部は、高信頼度の予測を用いて繰り返しクラスタ割り当てを精緻化することで、モデル性能を向上させた。
• GRACEはGPU上で学習された際、大規模ネットワーク解析に適した強力なスケーラビリティと効率性を示した。
• 理論的分析により、GRACEのクラスタ解釈と広く用いられるネットワークモデリング手法との関連が明らかになり、その設計原理の妥当性が裏付けられた。
• 実験的結果は、DeepWalk、node2vec、BigClam、CESNAなどのベースラインを、複数の評価指標で一貫して上回ることを示した。