[論文レビュー] HNHN: Hypergraph Networks with Hyperedge Neurons

Yihe Dong, Will Sawin+1 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Graph Neural Networks参考文献 22被引用数 47

ひとこと要約

HNHNは、ハイパーノードとハイパーエッジの両方に非線形活性化を適用した表現を割り当て、柔軟な正規化スキームを備えるハイパーグラフ畳み込みフレームワークを導入し、実データセットで最先端手法より精度と速度を向上させる。

ABSTRACT

Hypergraphs provide a natural representation for many real world datasets. We propose a novel framework, HNHN, for hypergraph representation learning. HNHN is a hypergraph convolution network with nonlinear activation functions applied to both hypernodes and hyperedges, combined with a normalization scheme that can flexibly adjust the importance of high-cardinality hyperedges and high-degree vertices depending on the dataset. We demonstrate improved performance of HNHN in both classification accuracy and speed on real world datasets when compared to state of the art methods.

研究の動機と目的

• ハイパーグラフ上でハイパーエッジを第1級エンティティとして専用の表現として扱う動機づけ。
• 非線形活性化を持つ偶然の伝播を用いたハイパーグラフ畳み込み法を、ハイパーノードとハイパーエッジの両方で導入する。
• データセットのニーズに基づいて高カーディナリティのハイパーエッジと高次数の頂点をバランスさせる柔軟な正規化スキームを導入する。
• HNHNを clique および star 展開と既存のハイパーグラフ学習法と比較し、精度と効率の面での利点を示す。

提案手法

• インシデンス行列 A を用いてハイパーグラフを定義し、ハイパーノード X_V とハイパーエッジ X_E の別々の表現を学習する。
• 更新規則: X_E' = sigma(A^T X_V W_E + b_E) および X_V' = sigma(A X_E' W_V + b_V)。
• ハイパーノードとハイパーエッジの両方に非線形活性化を組み込み、ハイパーエッジ特有の非線形性を捉える。
• 次数に基づく重み付けを可能にする正規化スキーム D_{E,l,alpha}, D_{V,r,alpha}, D_{V,l,alpha}, D_{E,r,alpha} を alpha および beta によりパラメータ化する。
• インシデンス行列 A を明示的に作成せず、ハイパーグラフの近傍から正規化因子を計算する実用的な実装を提供する。
• クリークおよびスター展開との関係を論じ、非線形性の有無にかかわらずこれらの展開上でグラフ畳み込みを一般化する方法を示す。
• トレーニング手順、ハイパーパラメータ、収束の考慮点（例: Adam、ドロップアウト、ReLU）を詳述する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーエッジ特有の非線形活性化は、クリーク/スター展開上の従来のグラフ畳み込みを超えるハイパーグラフ構造データの予測性能を改善できるか。
• RQ2 柔軟で次数を考慮した正規化は、ハイパーエッジサイズやノード次数が異なるハイパーグラフの学習にどのような影響を与えるか。
• RQ3 HNHNの精度と速度の比較優位性は、HyperGCN、HGNNなどの既存のハイパーグラフ畳み込み法と標準データセットでどの程度であるか。
• RQ4 ハイパーノードとハイパーエッジの表現を学習タスクで別々に維持することは、ハイパーノード予測とハイパーエッジ予測の両方に有益か。

主な発見

• HNHNは複数のベンチマークデータセットでハイパーノード分類の最先端手法を上回り、顕著な精度向上を示す。
• 明示的なインシデンス行列の展開を回避し、GPUベースの計算を効率化することで競争力のある学習速度を提供する。
• ハイパーノードとハイパーエッジの両方に非線形活性化を適用することで、線形または単一エンティティアプローチより表現力が向上する。
• alpha および beta パラメータを調整可能な正規化スキームは性能に大きく影響し、デフォルトの等重正規化（alpha=beta=0）は必ずしも最適ではない。
• HNHNはハイパーエッジ表現の同時学習を可能にし、ノード予測と並行してハイパーエッジ予測を競合力のあるレベルで実現する。