[論文レビュー] SHGNN: Structure-Aware Heterogeneous Graph Neural Network

Wentao Xu, Yingce Xia+4 more|arXiv (Cornell University)|Dec 12, 2021

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、構造情報を考慮した異種グラフニューラルネットワークであるSHGNNを提案する。この手法は、特徴伝搬モジュールと木構造アテンションアグリゲーターを用いて、ノードの中心性とグラフ構造情報を統合することで、メタパスに基づくグラフ埋め込みを向上させる。IMDB、DBLP、ACMといったベンチマークデータセットにおいて、ノード分類およびクラスタリングタスクで最先端の性能を達成している。

ABSTRACT

Many real-world graphs (networks) are heterogeneous with different types of nodes and edges. Heterogeneous graph embedding, aiming at learning the low-dimensional node representations of a heterogeneous graph, is vital for various downstream applications. Many meta-path based embedding methods have been proposed to learn the semantic information of heterogeneous graphs in recent years. However, most of the existing techniques overlook the graph structure information when learning the heterogeneous graph embeddings. This paper proposes a novel Structure-Aware Heterogeneous Graph Neural Network (SHGNN) to address the above limitations. In detail, we first utilize a feature propagation module to capture the local structure information of intermediate nodes in the meta-path. Next, we use a tree-attention aggregator to incorporate the graph structure information into the aggregation module on the meta-path. Finally, we leverage a meta-path aggregator to fuse the information aggregated from different meta-paths. We conducted experiments on node classification and clustering tasks and achieved state-of-the-art results on the benchmark datasets, which shows the effectiveness of our proposed method.

研究の動機と目的

• 既存のメタパスベース手法が、異種グラフ埋め込みにおいてグラフ構造情報を無視するという限界を解決すること。
• ノード中心性を構造的重要性の指標として組み込み、表現学習を向上させること。
• 情報集約中に共有される中間ノードを活用して、メタパスインスタンス間の構造的依存関係をモデル化すること。
• 孤立したメタパスインスタンスを超えた構造的文脈を捉える、新たな集約メカニズムを開発すること。
• 構造を考慮した表現を用いて、ノード分類やクラスタリングなどの下流タスクで性能向上を示すこと。

提案手法

• メタパス内の中間ノードの周辺にある局所的構造情報を捉えるために、特徴伝搬モジュールを導入する。
• 共通の中間ノードを共有するメタパスインスタンス間の依存関係をモデル化する、木構造アテンションアグリゲーターを設計する。
• ノードのグラフ内での位置に基づいて、ノードの構造的重要性を符号化するためのノード中心性指標 $c(v)$ と $c^+(v)$ を用いる。
• 学習されたアテンション重みを用いて、複数のメタパスからの表現を統合するメタパスアグリゲーターを適用する。
• 構造的符号化と木構造アテンションを統合したエンドツーエンドのGNNフレームワークを構築し、異種グラフ表現学習を実現する。
• ベンチマークデータセット上で、教師ありノード分類およびクラスタリングの目的関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ノード中心性を組み込むことで、異種グラフ埋め込みの品質が向上するか？
• RQ2 重複するメタパスインスタンス間の構造的依存関係をモデル化することで、表現学習が向上するか？
• RQ3 標準的なアテンションメカニズムと比較して、木構造アテンションアグリゲーターはメタパスベースの特徴集約においてどのように優れているか？
• RQ4 SHGNNは、ノード分類およびクラスタリングタスクにおいて、既存の最先端手法をどの程度上回るか？
• RQ5 アブレーションスタディを通じて、構造情報が最終的な埋め込み品質にどの程度寄与しているか？

主な発見

• IMDBデータセットでは、前回の最先端手法と比較して、NMIで5%の相対的向上、ARIで20%の向上を達成した。
• ACMデータセットでは、MAGNN-ACモデルと比較して、NMIがほぼ8%向上、ARIが7%向上した。
• アブレーションスタディの結果、ノード中心性符号化と木構造アテンションアグリゲーターの両方が性能向上に顕著に寄与しており、特にDBLPデータセットで顕著であった。
• 中心性指標 $c(v)$ と $c^+(v)$ を含めることで、それぞれMacro-F1が0.89%、Micro-F1が0.95%向上した（これらを削除した場合と比較）。
• t-SNEを用いた可視化では、MAGNNやMAGNN-ACと比較して、SHGNNの埋め込みが異なるクラスのノードをより明確に分離していることが示された。
• 木構造アテンションアグリゲーター単体でも、DBLPデータセットでMacro-F1が1.2%、Micro-F1が1.0%向上しており、構造的文脈をモデル化する有効性が裏付けられた。