[論文レビュー] Hybrid Micro/Macro Level Convolution for Heterogeneous Graph Learning

Le Yu, Leilei Sun+4 more|arXiv (Cornell University)|Dec 29, 2020

Advanced Graph Neural Networks参考文献 37被引用数 8

ひとこと要約

本稿では、関係内でのノードの重要性を同時にモデル化し、関係間の違いを区別することで、ノード表現を学習する、ハイブリッドなミクロレベルおよびマクロレベル畳み込みを用いた新しい非同質的グラフ畳み込み手法HGConvを提案する。この手法は、ノード分類、クラスタリング、リンク予測のタスクで最先端の性能を達成するとともに、学習された注意スコアにより直感的な解釈可能性を提供する。

ABSTRACT

Heterogeneous graphs are pervasive in practical scenarios, where each graph consists of multiple types of nodes and edges. Representation learning on heterogeneous graphs aims to obtain low-dimensional node representations that could preserve both node attributes and relation information. However, most of the existing graph convolution approaches were designed for homogeneous graphs, and therefore cannot handle heterogeneous graphs. Some recent methods designed for heterogeneous graphs are also faced with several issues, including the insufficient utilization of heterogeneous properties, structural information loss, and lack of interpretability. In this paper, we propose HGConv, a novel Heterogeneous Graph Convolution approach, to learn comprehensive node representations on heterogeneous graphs with a hybrid micro/macro level convolutional operation. Different from existing methods, HGConv could perform convolutions on the intrinsic structure of heterogeneous graphs directly at both micro and macro levels: A micro-level convolution to learn the importance of nodes within the same relation, and a macro-level convolution to distinguish the subtle difference across different relations. The hybrid strategy enables HGConv to fully leverage heterogeneous information with proper interpretability. Moreover, a weighted residual connection is designed to aggregate both inherent attributes and neighbor information of the focal node adaptively. Extensive experiments on various tasks demonstrate not only the superiority of HGConv over existing methods, but also the intuitive interpretability of our approach for graph analysis.

研究の動機と目的

• 既存のグラフ畳み込み手法が非同質的グラフを処理する際の限界、すなわち非同質的性質の不完全な活用や構造的情報の損失を解消すること。
• 従来の非同質的グラフ学習手法における解釈性の欠如と手動設計依存の問題を克服すること。
• ミクロおよびマクロの両レベルで、非同質的グラフの内在的構造に直接畳み込みを適用する統一フレームワークの構築。
• 重み付き残差接続を用いて、ノード属性と隣接情報の適応的集約を可能にすること。
• 下流のグラフ解析タスクに適した、内在的な解釈可能性を備えた多層表現を学習するモデルの開発。

提案手法

• HGConvはハイブリッド畳み込み戦略を採用：ミクロレベル畳み込みは、タイプ固有の変換行列と注意ベクトルを用いて、同じ関係内でのノードの重要性を学習する。
• マクロレベル畳み込みは、関係タイプ固有の変換行列と共有された注意ベクトルを用いて、関係間の違いを区別する。
• 重み付き残差接続により、ノード属性と隣接情報が適応的に統合される。
• ミクロおよびマクロレベルの両方で注意メカニズムが用いられ、焦点となるノードに対する関連性に基づいて隣接ノードへの重要度スコアが割り当てられる。
• 残差接続を備えた多層スタック構造をサポートし、過学習を防ぎながら深層表現学習を可能にする。
• モデルはエンドツーエンドで学習可能であり、ノード属性および関係的構造的情報を両方保持するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドなミクロ/マクロレベル畳み込み戦略は、非同質的グラフ内の非同質的情報を効果的に捉えることができるか？
• RQ2 ノード分類、クラスタリング、リンク予測タスクにおける性能面で、本手法は既存手法と比較してどのように異なるか？
• RQ3 HGConvにおける注意スコアは、グラフ解析に対して直感的かつ意味のある解釈可能性をどの程度提供できるか？
• RQ4 本モデルのアーキテクチャは、ランダムウォークなどのヒューリスティック戦略を用いる手法と比較して、構造的情報をよりよく保持できるか？
• RQ5 重み付き残差接続は、表現学習におけるノード属性と隣接情報のバランスを効果的にとることができるか？

主な発見

• HGConvは、ACM-3、DBLP、IMDBを含む複数のベンチマークデータセットにおいて、ノード分類、クラスタリング、リンク予測タスクで最先端の性能を達成した。
• 層の数が増加するにつれて性能が向上するが、ある点を過ぎると過学習が発生するため、表現学習に最適な深さが存在することが示された。
• 注意ヘッドの数を増やすことで性能が向上するが、閾値（例：4個以上）に達すると安定化し、中程度のヘッド数で十分な表現力が得られることを示唆した。
• 最適なノード表現次元は64から256の間であり、64が最良の設定とされた。より高い次元では過学習のため性能が低下した。
• ミクロレベル畳み込みは、学習された注意スコアに基づき、関係内での関連性の高いノード（例：主要な著者、トピック関連キーワード）を効果的に同定した。
• マクロレベル畳み込みは関係の重要度を自動で学習し、より情報の多い関係（例：$AP$メタパスにおける$PAP$）に対して高い注意を向けるようになり、実証的な性能向上と整合的であった。