[論文レビュー] Preventing Over-Smoothing for Hypergraph Neural Networks

Guanzi Chen, Jiying Zhang+2 more|arXiv (Cornell University)|Mar 31, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、初期残差接続とアイデンティティマッピングを用いてハイパーグラフニューラルネットワークにおける過剰なスムージングを防ぐ、Deep-HGCNと呼ばれる深層ハイパーグラフ畳み込みネットワークを提案する。理論的に任意の係数を有する次数kの多項式スペクトルフィルタをシミュレート可能であることが証明されており、深層部においてもノード表現の多様性を維持し、複数のハイパーグラフノード分類および3次元オブジェクト認識ベンチマークで最先端の性能を達成する。

ABSTRACT

In recent years, hypergraph learning has attracted great attention due to its capacity in representing complex and high-order relationships. However, current neural network approaches designed for hypergraphs are mostly shallow, thus limiting their ability to extract information from high-order neighbors. In this paper, we show both theoretically and empirically, that the performance of hypergraph neural networks does not improve as the number of layers increases, which is known as the over-smoothing problem. To avoid this issue, we develop a new deep hypergraph convolutional network called Deep-HGCN, which can maintain the heterogeneity of node representation in deep layers. Specifically, we prove that a $k$-layer Deep-HGCN simulates a polynomial filter of order $k$ with arbitrary coefficients, which can relieve the problem of over-smoothing. Experimental results on various datasets demonstrate the superior performance of the proposed model compared to the state-of-the-art hypergraph learning approaches.

研究の動機と目的

• グラフ畳み込みネットワーク（GCN）における有名な影響と同様に、ハイパーグラフニューラルネットワーク（HGCNN）においても過剰なスムージングが生じるかどうかを調査すること。
• ランダムウォークの収束とディリクレエネルギー最小化を用いて、HGCNNにおける過剰なスムージングの根本的要因を分析すること。
• 深層部においても表現の多様性を維持できる真の深層HGCNNアーキテクチャを設計すること。
• 提案モデルが任意の次数の多項式スペクトルフィルタをシミュレートできることの理論的裏付けを提供すること。
• ハイパーグラフノード分類および3次元オブジェクト認識タスクにおいて、最先端の手法と比較してDeep-HGCNの優位性を実証的に検証すること。

提案手法

• 各層において入力特徴を保持する初期残差接続を導入し、ノード表現の多様性を維持する。
• 可学習重み行列に単位行列を加えるアイデンティティマッピングを適用し、ディリクレエネルギーの収束を遅くする。
• 理論的分析により、k層のDeep-HGCNモデルが任意の係数を有する次数kの多項式スペクトルフィルタを表現可能であることを証明する。
• 安定な深層学習を実現するため、ハイパーグラフラプラシアンに基づくメッセージパッシングと残差・アイデンティティ成分を組み合わせたモデルアーキテクチャを採用する。
• 実験的訓練では、初期学習率を固定の0.01、ドロップアウト率を0.5、早期停止のための忍耐値を100エポックとして設定する。
• ハイパーパラメータαとβは、付録に詳細を記載した範囲内でグリッドサーチにより調整する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーグラフニューラルネットワークにおいて過剰なスムージングが生じるのか。その場合、その背後にある根本的要因は何か？
• RQ2 GCNの進展にインspiredされたアーキテクチャ的改良によって、HGCNNにおける過剰なスムージング問題を緩和できるか？
• RQ3 深さが増すに従って、深層HGCNNがどれほど判別可能なノード表現を維持できるか？
• RQ4 提案モデルが任意の次数の多項式スペクトルフィルタをシミュレートでき、その性質が過剰なスムージングを防ぐのか？
• RQ5 多様なハイパーグラフ学習タスクにおいて、Deep-HGCNは最先端の手法と比較して、性能および頑健性の面でどのように優れているか？

主な発見

• ヴァニラHGNNモデルは深刻な過剰なスムージングを示し、2〜4層で性能がピークに達し、それ以上に深くなると急激に劣化する。
• Cora, Citeseer, Pubmed, NTU2012, ModelNet40の各データセットにおいて、Deep-HGCNはそれぞれ64層、8層、16層、64層、32層、64層で最高の精度を達成し、深さに応じた一貫した性能向上を示す。
• NTU2012データセットでは、Deep-HGCNが64層で80.42%の精度を達成したのに対し、HGNNは同様の深さで5.25%にとどまり、顕著な性能向上が確認された。
• ModelNet40では、Deep-HGCNが64層で88.24%の精度に達したのに対し、HGNNは同程度の深さで4.13%にとどまり、優位性が明確に示された。
• t-SNE可視化により、Deep-HGCNは深層部においてもクラス判別可能なノード表現を維持していることが確認されたのに対し、HGNNは表現が崩壊していることが分かった。
• アブレーションスタディの結果、初期残差とアイデンティティマッピングの両方が必要であり、その組み合わせが最良の性能と最も効果的な過剰なスムージングの緩和をもたらした。