[論文レビュー] UniGNN: a Unified Framework for Graph and Hypergraph Neural Networks

Jing Huang, Jie Yang|arXiv (Cornell University)|May 3, 2021

Advanced Graph Neural Networks参考文献 6被引用数 11

ひとこと要約

UniGNNは、GCN、GAT、GIN、GraphSAGEなどのwell-establishedなGNNアーキテクチャを、最小限のアーキテクチャ変更でハイパーグラフに一般化する統一フレームワークを提案する。UniGCNIIを介して深層ハイパーグラフ学習を可能にし、過剰平滑化を緩和し、半教師ありハイパーノード分類においてDBLPデータセットで正解率を77.4%から88.8%まで向上させ、最先端の性能を達成する。

ABSTRACT

Hypergraph, an expressive structure with flexibility to model the higher-order correlations among entities, has recently attracted increasing attention from various research domains. Despite the success of Graph Neural Networks (GNNs) for graph representation learning, how to adapt the powerful GNN-variants directly into hypergraphs remains a challenging problem. In this paper, we propose UniGNN, a unified framework for interpreting the message passing process in graph and hypergraph neural networks, which can generalize general GNN models into hypergraphs. In this framework, meticulously-designed architectures aiming to deepen GNNs can also be incorporated into hypergraphs with the least effort. Extensive experiments have been conducted to demonstrate the effectiveness of UniGNN on multiple real-world datasets, which outperform the state-of-the-art approaches with a large margin. Especially for the DBLP dataset, we increase the accuracy from 77.4\% to 88.8\% in the semi-supervised hypernode classification task. We further prove that the proposed message-passing based UniGNN models are at most as powerful as the 1-dimensional Generalized Weisfeiler-Leman (1-GWL) algorithm in terms of distinguishing non-isomorphic hypergraphs. Our code is available at \url{https://github.com/OneForward/UniGNN}.

研究の動機と目的

• 最小限の変更で、well-establishedなGNNアーキテクチャをハイパーグラフニューラルネットワークに一般化すること。
• 高度なトレーニング戦略を用いて、深層ハイパーグラフニューラルネットワークにおける過剰平滑化問題を解決すること。
• メッセージパッシングに基づくハイパーグラフニューラルネットワークの表現力が、非同型ハイパーグラフを区別できるかを評価すること。
• グローバル構造情報の捉え込みにより、未観測ノードに対してもインダクティブなハイパーグラフ学習を可能にすること。

提案手法

• ハイパーエッジのインシデント関係を再定義することで、ハイパーグラフに一般化された統一的メッセージパッシングフレームワークを導入。
• 特に浅いモデルにおいても安定性と性能向上を図るため、自己ループ拡張戦略を採用。
• 残差接続とアイデンティティスキップ接続を備えた深層ハイパーグラフネットワークであるUniGCNIIを提案し、過剰平滑化を緩和。
• ノード表現がインシデントノード特徴のハイパーエッジレベル集約に基づいて更新される、一般化されたメッセージパッシングメカニズムを採用。
• UniGATでは学習可能なアテンションメカニズム、UniGINではマルチレイヤーパーセプトロンを用いて、ハイパーグラフ設定における特徴集約を強化。
• 深層モデルの効果的トレーニングのため、エアリー・ストッピング、L2正則化、Adam最適化を適用。

実験結果

リサーチクエスチョン

• RQ1 GCN、GAT、GIN、GraphSAGEといった古典的GNNアーキテクチャが、最小限のアーキテクチャ的変更でハイパーグラフに効果的に一般化可能か。
• RQ2 残差接続や正規化といった高度なGNNトレーニング戦略が、ハイパーグラフ学習に成功裏に適応可能か、過剰平滑化を防げるか。
• RQ3 メッセージパッシングに基づくハイパーグラフニューラルネットワークの表現力は、既知のグラフ同型性テストと比較してどの程度か。
• RQ4 統一フレームワークが、高い汎化性能を示しながら未観測ノードに対してもインダクティブなハイパーグラフ学習を可能にするか。

主な発見

• UniGNNモデルは、すべてのベンチマークデータセットで最先端の手法を一貫して上回り、半教師ありハイパーノード分類においてDBLPデータセットで11.4パーセンテージポイントの顕著な正解率向上（77.4%から88.8%）を達成。
• 入力ハイパーグラフに自己ループを含めることで、性能が顕著に向上し、メッセージ集約における自己接続の重要性が裏付けられた。
• 最初の深層ハイパーグラフニューラルネットワークであるUniGCNIIは、過剰平滑化を効果的に緩和し、深さが増すにつれて性能が向上する一方、浅いベースラインは性能が低下するのとは対照的である。
• 提案されたフレームワークは、強力なインダクティブ学習性能を実現し、DBLPデータセットにおいて、学習済みノードでは正解率が78.1%から89.6%に、未学習ノードでは73.2%から83.4%に向上した。
• UniGNNモデルの表現力は、1次元一般化Weisfeiler-Leman（1-GWL）アルゴリズムによって制限されており、既知の同型性テストの限界と理論的に整合していることが示された。
• フレームワークは高い安定性を示し、実験全体で標準偏差が低く抑えられており、予測のばらつきが小さく、頑健であることが裏付けられた。