[論文レビュー] An Attention-based Graph Neural Network for Heterogeneous Structural Learning

Huiting Hong, Hantao Guo+4 more|arXiv (Cornell University)|Dec 19, 2019

Advanced Graph Neural Networks参考文献 33被引用数 24

ひとこと要約

この論文では、メタパスに依存しないグラフニューラルネットワークであるHetSANNを提案する。同モデルは、専門家が設計したメタパスを必要とせず、構造的および関係的意味を符号化するタイプに配慮したアテンション機構を用いて、異種情報ネットワーク（HIN）の表現を学習する。エンティティ空間の変換と関係固有のアテンションを同時にモデル化することで、3つの公開HINデータセットにおけるノード分類タスクで最先端の性能を達成しており、先行手法を一貫して上回っている。

ABSTRACT

In this paper, we focus on graph representation learning of heterogeneous information network (HIN), in which various types of vertices are connected by various types of relations. Most of the existing methods conducted on HIN revise homogeneous graph embedding models via meta-paths to learn low-dimensional vector space of HIN. In this paper, we propose a novel Heterogeneous Graph Structural Attention Neural Network (HetSANN) to directly encode structural information of HIN without meta-path and achieve more informative representations. With this method, domain experts will not be needed to design meta-path schemes and the heterogeneous information can be processed automatically by our proposed model. Specifically, we implicitly represent heterogeneous information using the following two methods: 1) we model the transformation between heterogeneous vertices through a projection in low-dimensional entity spaces; 2) afterwards, we apply the graph neural network to aggregate multi-relational information of projected neighborhood by means of attention mechanism. We also present three extensions of HetSANN, i.e., voices-sharing product attention for the pairwise relationships in HIN, cycle-consistency loss to retain the transformation between heterogeneous entity spaces, and multi-task learning with full use of information. The experiments conducted on three public datasets demonstrate that our proposed models achieve significant and consistent improvements compared to state-of-the-art solutions.

研究の動機と目的

• 異種情報ネットワーク（HIN）表現学習における専門家が設計したメタパスへの依存を排除すること。
• 手動でメタパスを指定しなくても、異なるエンティティ空間間の異種ノード間の相互作用をモデル化すること。
• HINにおける複数の関係タイプの意味的差を関係に配慮したアテンション機構で保持すること。
• サイクル整合性とマルチタスク学習を統合することで、HINにおけるノード分類のパフォーマンスを向上させること。
• 異種特徴やエッジ情報の損失なしに、エンドツーエンドでタスクに従事したHIN表現の学習を可能にすること。

提案手法

• 異種ノードを共有の低次元空間に投影するタイプに配慮したアテンションレイヤーを提案し、異種間の相互作用を可能にする。
• エッジタイプに応じた関係固有のアテンション機構を適用し、関係の意味的差を捉える近隣情報の集約を実現する。
• 2つのアテンションスコア関数を導入：連結ベースの積とボイス共有積（アクティブ／パasiveなエッジ方向を区別）。
• エンティティ空間間の変換を正則化するためにサイクル整合性損失を課し、一貫した双方向マッピングを保証する。
• ノード分類と補助タスク（例：論文分類）を同時に最適化するマルチタスク学習を採用し、一般化性能を向上させる。
• タスクに従事した目的関数（例：ノード分類損失）を用いてモデルを訓練し、メタパス依存なしにエンドツーエンド最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 GNNベースのモデルは、手動で設計されたメタパスに依存せずに、効果的なHIN表現を学習できるか？
• RQ2 異なるエンティティタイプに属する異種ノードは、共有表現空間内で効果的に埋め込みおよび相互作用させられるか？
• RQ3 関係固有のアテンション機構は、HINにおける複数のタイプのエッジの意味的差をよりよく捉えることができるか？
• RQ4 サイクル整合性とマルチタスク学習を組み込むことで、HIN表現学習のロバスト性とパフォーマンスが向上するか？
• RQ5 提案手法は、現実世界のHINにおいて、メタパス依存のSOTA手法をノード分類タスクで上回ることができるか？

主な発見

• HetSANNは、3つの公開HINデータセット（IMDB、DBLP、Movie）におけるノード分類タスクで一貫して最先端の手法を上回り、より高いMicro F1スコアを達成した。
• HetSANN.M.R.V.がすべてのバリエーションの中で最高のパフォーマンスを示し、ボイス共有積アテンション、サイクル整合性損失、マルチタスク学習の組み合わせの有効性を裏付けた。
• 20%程度の低訓練比率という弱教師あり設定でも、強力なパフォーマンスを維持しており、限られた教師信号に対してロバストであることを示した。
• 実験から、タイプに配慮したアテンションレイヤーを5層を超えて増やすと性能が低下することが判明し、深層GNNにおける過剰平滑化のリスクを確認した。
• 感度分析の結果、サイクル整合性損失の成分（β₁とβ₂）の最適な重み付けが不可欠であることが判明した。値が大きすぎると、主タスクのノード分類が抑制される。
• ボイス共有積アテンション機構は、方向性のある関係（例：アクティブ・パasiveな語の違い）のモデリングを改善し、標準的な連結ベースのアテンションに比べて優れた性能を発揮した。