[論文レビュー] Descent Steps of a Relation-Aware Energy Produce Heterogeneous Graph Neural Networks

Hongjoon Ahn, Yongyi Yang+3 more|arXiv (Cornell University)|Jun 22, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、学習可能で適合性行列を備えた関係に敏感なエネルギー関数の勾配降下ステップからメッセージスティン層を導出する、新しい異種グラフニューラルネットワーク（HGNN）であるHALOを提案する。多様な異性性関係をモデル化し、エネルギー最小化によって収束を保証することで、8つのベンチマークにおいて深層アーキテクチャでも過剰平滑化を回避し、最先端のノード分類精度を達成する。

ABSTRACT

Heterogeneous graph neural networks (GNNs) achieve strong performance on node classification tasks in a semi-supervised learning setting. However, as in the simpler homogeneous GNN case, message-passing-based heterogeneous GNNs may struggle to balance between resisting the oversmoothing that may occur in deep models, and capturing long-range dependencies of graph structured data. Moreover, the complexity of this trade-off is compounded in the heterogeneous graph case due to the disparate heterophily relationships between nodes of different types. To address these issues, we propose a novel heterogeneous GNN architecture in which layers are derived from optimization steps that descend a novel relation-aware energy function. The corresponding minimizer is fully differentiable with respect to the energy function parameters, such that bilevel optimization can be applied to effectively learn a functional form whose minimum provides optimal node representations for subsequent classification tasks. In particular, this methodology allows us to model diverse heterophily relationships between different node types while avoiding oversmoothing effects. Experimental results on 8 heterogeneous graph benchmarks demonstrates that our proposed method can achieve competitive node classification accuracy

研究の動機と目的

• 長距離依存関係を捉えるために層を重ねすぎることによって生じる、深層異種GNNにおける過剰平滑化の課題に対処すること。
• 既存のメッセージスティンGNNが同性性を仮定しているため、異種グラフにおける異なるノードタイプ間の複雑な異性性関係をモデル化できないという限界を克服すること。
• 微分可能で最適化に基づく異種GNNアーキテクチャを構築し、エネルギー関数のアンフォールディングによる勾配降下ステップとして自然にスキップ接続を組み込み、特徴の崩壊を回避すること。
• 二段階最適化を用いてエネルギー関数の関数的形とそのパラメータ（関係固有の適合性行列を含む）を同時に学習可能にすることで、エンドツーエンドの訓練を可能にすること。
• 学習可能な適合性行列が、特に強い異性性や不均衡なノードタイプを示す設定において、ノード分類タスクのパフォーマンスを顕著に向上させることを示すこと。

提案手法

• 関係依存の適合性行列を用いて異種ノード埋め込みを正則化する関係に敏感なエネルギー関数を提案し、ZooBPのような信念伝播技術をインspirationとする。
• エネルギー関数における勾配降下ステップとして、層ごとのメッセージスティンルールを導出する。適切な学習率条件下で収束を保証する。
• スキップ接続、線形特徴集約、自己ループ変換を伝搬ルールに統合し、それぞれがエネルギー最小化プロセスの一部として解釈可能であることを示す。
• エネルギー関数のパラメータ（適合性行列を含む）とノード表現を同時に学習するため、二段階最適化を用いる。エンドツーエンドの訓練を可能にする。
• 一般化性能を向上させるために、非線形伝搬演算子として近接勾配降下法（PGD）を適用する。アブレーションでは、その重要性が示されている。
• エネルギー関数を定式化し、その最小化が下流の分類タスクに適した判別性の高いノード表現をもたらすようにする。

実験結果

リサーチクエスチョン

• RQ1 関係に敏感な適合性行列を備えた新しいエネルギーベースフレームワークは、複雑な異性性を示す異種グラフにおけるノード表現学習を改善できるか？
• RQ2 提案されたエネルギー最小化フレームワークは、標準的なメッセージスティンアーキテクチャと比較して、深層異種GNNにおける過剰平滑化をどのように防止するか？
• RQ3 学習可能な適合性行列は、固定または恒等行列と比較して、ノードタイプ間の関係をモデル化する際にどの程度パフォーマンスを向上させるか？
• RQ4 伝搬ステップ数は、提案されたHALOモデルにおける収束、精度、エネルギー関数の最小化にどのように影響するか？
• RQ5 近接勾配降下法による非線形活性化の導入は、異種グラフ学習における一般化性能と分類精度を向上させるか？

主な発見

• HALOは8つの異種グラフベンチマークで最先端のパフォーマンスを達成し、ZooBPを含む最先端モデルを上回る。特に強い異性性を示すノードタイプにおいて顕著な優位性を示す。
• DBLP-reducedデータセットでは、$k=18$のとき、'Paper'タイプで97.81%の精度、'Author'タイプで84.73%の精度を達成し、ZooBPの81.76%と16.08%を大きく上回る。
• ACMデータセットでは、$k=4$のとき、'Paper'で96.63%、'Author'で93.89%の精度を達成し、ZooBPの79.63%と73.43%を上回る。
• アブレーションスタディにより、学習可能な適合性行列（$\mathbf{H}_t$）を用いることで、固定または恒等行列よりもパフォーマンスが向上し、MUTAGやBGSでは最大15%の向上が確認された。
• 近接勾配降下法（PGD）ステップを削除すると、パフォーマンスが著しく低下する（例：MUTAGでは86.17% → 77.94%）、一般化性能向上におけるその役割が裏付けられる。
• 伝搬ステップ数を増やすに従い、訓練および検証精度が着実に上昇し、エネルギー関数の値は単調に減少する。収束性と効果的な最小化が確認された。