[論文レビュー] Query Driven-Graph Neural Networks for Community Search: From Non-Attributed, Attributed, to Interactive Attributed

Yuli Jiang, Yu Rong+4 more|arXiv (Cornell University)|Apr 8, 2021

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、クエリ依存のコミュニティ構造と頂点属性を、局所的なクエリに依存する表現とグローバルなグラフ埋め込み、および二部グラフとしての属性構造を統合することで、共同でモデル化する新規なGNNモデル、Query Driven-GNN（QD-GNN）およびAttributed Query Driven-GNN（AQD-GNN）を提案する。AQD-GNNは、インタラクティブな設定下で、先行手法に比べてF1スコアを6.29%向上させ、最先端の性能を達成した。

ABSTRACT

Given one or more query vertices, Community Search (CS) aims to find densely intra-connected and loosely inter-connected structures containing query vertices. Attributed Community Search (ACS), a related problem, is more challenging since it finds communities with both cohesive structures and homogeneous vertex attributes. However, most methods for the CS task rely on inflexible pre-defined structures and studies for ACS treat each attribute independently. Moreover, the most popular ACS strategies decompose ACS into two separate sub-problems, i.e., the CS task and subsequent attribute filtering task. However, in real-world graphs, the community structure and the vertex attributes are closely correlated to each other. This correlation is vital for the ACS problem. In this paper, we propose Graph Neural Network models for both CS and ACS problems, i.e., Query Driven-GNN and Attributed Query Driven-GNN. In QD-GNN, we combine the local query-dependent structure and global graph embedding. In order to extend QD-GNN to handle attributes, we model vertex attributes as a bipartite graph and capture the relation between attributes by constructing GNNs on this bipartite graph. With a Feature Fusion operator, AQD-GNN processes the structure and attribute simultaneously and predicts communities according to each attributed query. Experiments on real-world graphs with ground-truth communities demonstrate that the proposed models outperform existing CS and ACS algorithms in terms of both efficiency and effectiveness. More recently, an interactive setting for CS is proposed that allows users to adjust the predicted communities. We further verify our approaches under the interactive setting and extend to the attributed context. Our method achieves 2.37% and 6.29% improvements in F1-score than the state-of-the-art model without attributes and with attributes respectively.

研究の動機と目的

• kコアやkトラスといった、固定された事前定義された部分グラフパターンに依存する従来のコミュニティ検索手法の限界に対処すること。これらの手法は、柔軟でクエリ依存のコミュニティ構造を捉えることができない。
• 属性の無関係問題を克服すること。属性が独立して扱われるのではなく、それらの暗黙的な相関関係をモデル化すること。
• コミュニティ検索を構造フィルタリングと属性フィルタリングの2段階に分解するアプローチを排除すること。これにより、構造の凝集性と属性の均質性が分離されるのを防ぐ。
• ユーザーのクエリに応じて、構造的凝集性と属性の均質性を同時に最適化する統合的でエンドツーエンドのGNNフレームワークを構築すること。
• 提案されたモデルをインタラクティブなコミュニティ検索に拡張し、ユーザーのフィードバックによる結果の最適化を可能とし、実世界の応用における適応性を向上させること。

提案手法

• QD-GNNは、クエリ駆動型のコンponentとグローバルなグラフ埋め込みを組み合わせ、クエリ依存のアテンションメカニズムを用いて、再訓練なしに局所的なコミュニティ表現を生成する。
• AQD-GNNは、頂点と属性の間の二部グラフとして属性をモデル化し、GNNが属性間の関係的依存性を学習できるようにする。
• 特徴統合演算子（Feature Fusion）は、主なグラフからの構造的表現と、二部グラフからの属性表現を統一された埋め込み空間に統合する。
• 出力スコアの連続値を離散的コミュニティ集合に変換するために、閾値に基づく制約付きBFSを用いる。γは検証データ上で調整される。
• ユーザーのフィードバックに基づく反復的最適化を可能とするために、ICS-GNNと統合することで、インタラクティブなコミュニティ検索にフレームワークを拡張する。
• モデルの訓練には、予測されたコミュニティメンバーシップに対する交差エントロピー損失を用い、ドロップアウト率、学習率、エポック数といったハイパーパrameterはアブレーションを通じて調整される。

実験結果

リサーチクエスチョン

• RQ1 事前定義された部分グラフパターンに依存しないで、構造的凝集性と属性の均質性を同時に最適化できるGNNベースのモデルは構築可能か？
• RQ2 属性間の暗黙的な相関関係を効果的にモデル化することで、属性付きコミュニティ検索の品質は向上するか？
• RQ3 構造と属性のエンドツーエンドの統合的学習は、構造を最初にフィルタリングしてから属性をフィルタリングする従来の2段階的手法を上回る性能を発揮するか？
• RQ4 提案されたGNNモデルは、ユーザーのフィードバックによって結果が最適化されるインタラクティブなコミュニティ検索に効果的に拡張可能か？
• RQ5 閾値γ、トレーニングデータサイズ、ドロップアウト率といったハイパーパrameterの変更に対して、モデルの性能と一般化能力はどれほど感度を示すか？

主な発見

• AQD-GNNは、インタラクティブな設定下で、属性付きコミュニティ検索において、最先端の手法に比べてF1スコアで6.29%の向上を達成した。
• モデルは閾値γに対して頑健であり、0.3～0.7の広い範囲で安定した性能を示し、ハイパーパrameterのチューニングに対する感受性が低いことが示された。
• トレーニングデータサイズを50から100に増加させると性能が顕著に向上するが、100を超えると収束し、以降は利得が減少することが示された。
• モデルは200エポック以内に収束し、ドロップアウト率が0.1～0.7の範囲で安定した性能を維持しており、最適な性能は0.5で達成された。
• アブレーションスタディの結果、構造と属性の統合的学習が、分離されたアプローチに比べて優れた結果をもたらすことが確認され、モデル設計の有効性が裏付けられた。
• 提案されたフレームワークは、複数の実世界のグラフ（真のコミュニティを有する）において、効率性と有効性の両面で、既存手法を上回った。