[論文レビュー] Detecting Communities from Heterogeneous Graphs: A Context Path-based Graph Neural Network Model

Linhao Luo, Yixiang Fang+3 more|arXiv (Cornell University)|Sep 5, 2021

Complex Network Analysis Techniques参考文献 59被引用数 7

ひとこと要約

本稿では、手動で定義されたメタパスに依存しない、異種グラフにおけるコミュニティ検出を目的としたコンテキストパスに基づくグラフニューラルネットワーク、CP-GNNを提案する。高階の関係性を学習可能なコンテキストパスでモデル化し、アテンション機構を用いてパスの重要度を重み付けすることで、CP-GNNは実世界のデータセットにおいて最先端の性能を達成し、従来の手法よりも教師なしコミュニティ検出タスクで優れた結果を示した。

ABSTRACT

Community detection, aiming to group the graph nodes into clusters with dense inner-connection, is a fundamental graph mining task. Recently, it has been studied on the heterogeneous graph, which contains multiple types of nodes and edges, posing great challenges for modeling the high-order relationship between nodes. With the surge of graph embedding mechanism, it has also been adopted to community detection. A remarkable group of works use the meta-path to capture the high-order relationship between nodes and embed them into nodes' embedding to facilitate community detection. However, defining meaningful meta-paths requires much domain knowledge, which largely limits their applications, especially on schema-rich heterogeneous graphs like knowledge graphs. To alleviate this issue, in this paper, we propose to exploit the context path to capture the high-order relationship between nodes, and build a Context Path-based Graph Neural Network (CP-GNN) model. It recursively embeds the high-order relationship between nodes into the node embedding with attention mechanisms to discriminate the importance of different relationships. By maximizing the expectation of the co-occurrence of nodes connected by context paths, the model can learn the nodes' embeddings that both well preserve the high-order relationship between nodes and are helpful for community detection. Extensive experimental results on four real-world datasets show that CP-GNN outperforms the state-of-the-art community detection methods.

研究の動機と目的

• 複数のノード型およびエッジ型が豊富な意味的情報を保持する異種グラフにおけるコミュニティ検出の課題に対処すること。
• 熟練した専門家が定義するパスに依存するメタパスベース手法の限界を克服し、指数的増加するパスの爆発を回避すること。
• 事前スキーマ知識が不要な、高階のノード関係性を捉える教師なし学習フレームワークを開発すること。
• モデルが自動的に最も情報の多い高階の関係性を同定・優先順位付けできるようにすること。
• アテンション拡張GNNアーキテクチャを用いてコンテキストパスを確率的共起信号としてモデル化することで、コミュニティ検出の性能を向上させること。

提案手法

• 主タイプのノードを補助タイプのノードを介して接続するシーケンスとしてのコンテキストパスを導入し、事前に定義されたメタパスに依存せずに高階の関係性を捉える。
• 2つのノードがこのようなパスを介して接続される確率を定義し、目的関数の基礎を形成する。
• コンテキストパスによって接続されたノードの期待的共起を最大化する教師なし目的関数を提案し、高階構造を保持する。
• 複数のヘッドアテンションを用いたGNNアーキテクチャを採用し、異なるコンテキストパスの重要度を段階的に集約する。
• コンテキストパス長に対するアテンション機構を組み込み、長さが長いパス（情報量が少ない）には低い重みを割り当て、ハイパーパramータ選択に対するロバストネスを向上させる。
• 関係レベルのアテンションを導入し、コンテキストパス内の異なるエッジタイプの寄与度を動的に重み付けし、意味的に意味のある関係性を同定する。

実験結果

リサーチクエスチョン

• RQ1 手動で設計されたメタパスに依存せずに、コンテキストパスが異種グラフにおける高階の関係性を効果的にモデル化できるか？
• RQ2 教師なしで学習可能なグラフニューラルネットワークは、コミュニティ検出のための高階構造的パターンをどのように保持できるか？
• RQ3 アテンション機構は、コミュニティ検出のための最も情報の多いコンテキストパスを効果的に同定・優先順位付けできるか？
• RQ4 提案されたCP-GNNモデルは、実世界の異種グラフにおいて、最先端のコミュニティ検出手法を上回る性能を達成できるか？
• RQ5 モデルの性能はコンテキストパス長の選択にどれほど敏感か？アテンション機構はこの依存性を軽減できるか？

主な発見

• CP-GNNは、ACM、DBLPその他の4つの実世界データセットにおいて、複数の評価指標で最先端のコミュニティ検出手法を上回った。
• コンテキストパス長K=4で最適な性能を達成し、K>4では長くあまり関連性のないパスに過学習するため、性能がわずかに低下した。
• コンテキストパス長に対するアテンション重みは長さが増すにつれて減少し、短いパスがより情報量が多く、直感的な期待と整合していることを確認した。
• 関係レベルのアテンション機構は、PSPやAPCPAといったより意味のあるパスを効果的に同定し、それらの高いアテンションスコアが下流評価におけるF1スコアの向上と相関していた。
• アテンション機構により、ハイパーパramータKの選択に対する感度が低下し、最適値（例：K=5または6）よりも高く設定しても、性能が最適に近いまま維持された。
• アテンション行列の可視化から、モデルが意味的に関連性のあるノード型・エッジ型（例：著者-論文-トピックの接続）に注目していることが確認され、コミュニティ形成に不可欠な要因を学習していることが示された。