[論文レビュー] Heterogeneous Graph Attention Network

Xiao Wang, Houye Ji+5 more|arXiv (Cornell University)|Mar 18, 2019

Advanced Graph Neural Networks参考文献 40被引用数 10

ひとこと要約

本稿では、複数のノード型およびエッジ型を有する非均質的グラフをモデル化するために、階層的アテンション（ノードレベルおよび意味的レベル）を活用する新しいグラフニューラルネットワーク、Heterogeneous Graph Attention Network (HAN) を提案する。HAN は個々の隣接ノードおよびメタパスに対するアテンション重みを学習することで、豊かな意味的情報を捉え、実世界の非均質的グラフにおけるノード分類およびクラスタリングタスクで最先端の性能を達成するとともに、アテンション可視化による解釈可能性の向上を実現する。

ABSTRACT

Graph neural network, as a powerful graph representation technique based on deep learning, has shown superior performance and attracted considerable research interest. However, it has not been fully considered in graph neural network for heterogeneous graph which contains different types of nodes and links. The heterogeneity and rich semantic information bring great challenges for designing a graph neural network for heterogeneous graph. Recently, one of the most exciting advancements in deep learning is the attention mechanism, whose great potential has been well demonstrated in various areas. In this paper, we first propose a novel heterogeneous graph neural network based on the hierarchical attention, including node-level and semantic-level attentions. Specifically, the node-level attention aims to learn the importance between a node and its metapath based neighbors, while the semantic-level attention is able to learn the importance of different meta-paths. With the learned importance from both node-level and semantic-level attention, the importance of node and meta-path can be fully considered. Then the proposed model can generate node embedding by aggregating features from meta-path based neighbors in a hierarchical manner. Extensive experimental results on three real-world heterogeneous graphs not only show the superior performance of our proposed model over the state-of-the-arts, but also demonstrate its potentially good interpretability for graph analysis.

研究の動機と目的

• 多様なノード型、エッジ型、豊かな意味的関係を有する非均質的グラフのモデル化という課題に対処すること。
• 従来の GNN が直接適用できない非均質的グラフにアテンションメカニズムを統合すること。
• ノードレベルのアテンション（隣接ノードの重要性）と意味的レベルのアテンション（メタパスの重要性）を同時にモデル化することで、意味的な表現を学習すること。
• 非均質的グラフにおけるノード分類およびクラスタリングタスクの性能と解釈可能性を向上させること。
• アテンションメカニズムが現実世界のネットワークにおける意味的非均質性と構造的複雑性を効果的に捉えられることを示すこと。

提案手法

• 2段階の階層的アテンション機構を導入：メタパスの文脈に基づいて隣接ノードの重要性を評価するノードレベルアテンション、および異なるメタパスの重要性を評価する意味的レベルアテンション。
• メタパスを構造的事前知識として用い、意味的に意味のあるパスに沿って特徴を集約する（例：Movie-Actor-Movie、Movie-Director-Movie）。
• 学習可能なパラメータを有するクエリ、キー、バリューを備えたマルチヘッドアテンションを採用し、訓練の安定化と表現学習の向上を図る。
• メタパスに基づく隣接ノードからの特徴をアテンション重み付きの和で集約し、構造的および特徴レベルの情報を保持する。
• 2段階のアテンション機構を適用：まずメタパス内での隣接ノードに対するアテンション；次に、異なるメタパス間でのアテンションを統合して非均質的意味信号を融合する。
• t-SNE を用いて学習済みのノード埋め込みを2次元空間に投影し、クラスタリングの質の向上とクラス分離の明確化を示す。

実験結果

リサーチクエスチョン

• RQ1 複数のノード型およびエッジ型を有する非均質的グラフに、アテンションメカニズムを効果的に適応する方法は何か？
• RQ2 階層的アテンション（ノードレベルおよび意味的レベル）は、非均質情報ネットワークにおける表現学習を向上させ得るか？
• RQ3 アテンション重みは、現実世界のグラフにおける異なるメタパスの意味的重要性をどのように反映するか？
• RQ4 提案された HAN モデルは、既存の GNN やメタパスベースの手法に比べ、ノード分類およびクラスタリングタスクで優れた性能を示すか？
• RQ5 学習されたアテンション重みは、特定のメタパスや隣接ノードの重要性に関する解釈可能なインサイトを提供できるか？

主な発見

• HAN は、IMDB、ACM、DBLP の3つの実世界の非均質的グラフにおいて、ノード分類およびクラスタリングタスクで最先端の性能を達成した。
• ACM データセットでは、HAN はクラスタリングで正規化相互情報量（NMI）スコア 0.842 を達成し、2番目に優れた手法に比べて2.5%の優位性を示した。
• 意味的レベルアテンションは、より情報量の多いメタパスに高い重みを割り当てた：例えば、DBLP では APCPA が APA や APTPA よりも顕著に高いアテンションを受けていた。
• t-SNE を用いた可視化により、HAN は異なる研究分野の研究者を明確に分離したクラスタを生成したのに対し、GCN や GAT はクラスが混在していた。
• ハイパーパrameterの選択に対して頑健であり、埋め込み次元 128 およびアテンションヘッド数 8 で最適な性能が得られたが、次元が高くなると過学習に起因する性能低下が見られた。
• アブレーションスタディの結果、ノードレベルまたは意味的レベルアテンションのいずれかを削除すると、性能が著しく低下したため、両アテンション機構の必要性が裏付けられた。