[論文レビュー] HMSG: Heterogeneous Graph Neural Network based on Metapath Subgraph Learning

Xinjun Cai, Jiaxing Shang+3 more|arXiv (Cornell University)|Sep 7, 2021

Advanced Graph Neural Networks被引用数 5

ひとこと要約

HMSGは、均質的および非均質的近傍からの構造的・意味的・属性的情報を統合的に捉えるために、グラフをメタパスに基づく部分グラフに分解する非均質的グラフニューラルネットワークを提案する。タイプ固有のメッセージ伝達と部分グラフ間でのアテンションベースの集約を適用することで、複数のベンチマークデータセットにおけるノード分類、クラスタリング、リンク予測のタスクで最先端の性能を達成する。

ABSTRACT

Many real-world data can be represented as heterogeneous graphs with different types of nodes and connections. Heterogeneous graph neural network model aims to embed nodes or subgraphs into low-dimensional vector space for various downstream tasks such as node classification, link prediction, etc. Although several models were proposed recently, they either only aggregate information from the same type of neighbors, or just indiscriminately treat homogeneous and heterogeneous neighbors in the same way. Based on these observations, we propose a new heterogeneous graph neural network model named HMSG to comprehensively capture structural, semantic and attribute information from both homogeneous and heterogeneous neighbors. Specifically, we first decompose the heterogeneous graph into multiple metapath-based homogeneous and heterogeneous subgraphs, and each subgraph associates specific semantic and structural information. Then message aggregation methods are applied to each subgraph independently, so that information can be learned in a more targeted and efficient manner. Through a type-specific attribute transformation, node attributes can also be transferred among different types of nodes. Finally, we fuse information from subgraphs together to get the complete representation. Extensive experiments on several datasets for node classification, node clustering and link prediction tasks show that HMSG achieves the best performance in all evaluation metrics than state-of-the-art baselines.

研究の動機と目的

• 既存の非均質的GNNが非均質的近傍を無視するか、すべての近傍を均一に扱うという限界を是正すること。
• 非均質的グラフをメタパスに基づく部分グラフに分解することで、より豊かな構造的・意味的・属性的情報を捉えること。
• タイプ固有の変換を用いて、均質的および非均質的近傍からのメッセージを別々に集約することで、ノード表現学習を向上させること。
• ノード分類、クラスタリング、リンク予測などの下流タスクにおける優れた性能を達成すること。

提案手法

• 元の非均質的グラフから、均質的および非均質的両方のメタパスに基づく部分グラフを複数構築し、特定の意味的および構造的関係を保持する。
• 各部分グラフに対して、近傍情報の集約を実行するため、グラフ畳み込みネットワークを用いて独立したメッセージ伝達を実施する。
• 異なるノードタイプ間でのノード属性の転送とアライメントを実現するため、タイプ固有の属性変換層を適用する。
• 複数の部分グラフからの表現を動的に集約するために、アテンションメカニズムを用いることで、部分グラフ寄与の適応的重み付けを可能にする。
• すべての部分グラフからの出力を連結し、非線形変換を施すことにより、最終的なノード表現を取得する。

実験結果

リサーチクエスチョン

• RQ1 均質的および非均質的近傍を別々に扱う非均質的GNNモデルは、それらを均一に集約するモデルよりも優れた性能を達成できるか？
• RQ2 メタパスに基づく部分グラフ分解は、非均質的グラフにおける意味的および構造的情報をどれほど効果的に保持できるか？
• RQ3 タイプ固有の属性変換を組み込むことで、非均質的グラフにおける表現学習が向上するか？
• RQ4 複数のメタパス部分グラフのアテンションベースの統合は、より頑健で汎用性の高いノード埋め込みをもたらすか？

主な発見

• ノード分類タスクにおいて、HMSGはACM、IMDB、Amazon Reviewデータセットで、すべての評価指標で最高性能を達成し、SOTAモデルを上回る。
• リンク予測タスクでは、Review-IでAUC 82.14%、AP 81.37%を達成し、Review-IIでAUC 78.96%、AP 79.05%を記録し、すべてのベースラインを顕著に上回る。
• アブレーションスタディの結果、均質的および非均質的部分グラフの両方を含めることで性能が向上し、自己アテンションバージョン（HMSG_atten）が全体で最も優れた結果を示した。
• グラフ畳み込みベースのモデル（例：HMSG）は、メタパス2vec や node2vec といったランダムウォークベースの手法よりも、すべてのタスクで優れた性能を示しており、誘導的メッセージ伝達の利点を示している。
• 均質的部分グラフのみを用いるバージョン（HMSG_ho）は、大多数のタスクで性能が低く、非均質的近傍の統合の必要性を裏付けている。
• タイプ固有の属性変換およびアテンションベースの集約の導入により、特にリンク予測およびクラスタリングタスクで顕著な性能向上が得られた。