[論文レビュー] HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs

Naganand Yadati, Madhav Nimishakavi+4 more|arXiv (Cornell University)|Sep 7, 2018

Advanced Graph Neural Networks参考文献 61被引用数 205

ひとこと要約

HyperGCNは、ハイパーグラフ上で線形エッジ近似に基づくグラフ畳み込みネットワークを訓練し、SSLにおけるノイズの多いハイパーエッジでHGNNを上回り、組合せ最適化での応用を可能にする。

ABSTRACT

In many real-world network datasets such as co-authorship, co-citation, email communication, etc., relationships are complex and go beyond pairwise. Hypergraphs provide a flexible and natural modeling tool to model such complex relationships. The obvious existence of such complex relationships in many real-world networks naturaly motivates the problem of learning with hypergraphs. A popular learning paradigm is hypergraph-based semi-supervised learning (SSL) where the goal is to assign labels to initially unlabeled vertices in a hypergraph. Motivated by the fact that a graph convolutional network (GCN) has been effective for graph-based SSL, we propose HyperGCN, a novel GCN for SSL on attributed hypergraphs. Additionally, we show how HyperGCN can be used as a learning-based approach for combinatorial optimisation on NP-hard hypergraph problems. We demonstrate HyperGCN's effectiveness through detailed experimentation on real-world hypergraphs.

研究の動機と目的

• 関係が二者間エッジを超えるハイパーグラフでの学習を動機づける。
• ハイパーグラフ・ラプラシアンを用いて学習を導く、グラフ畳み込みフレームワーク（HyperGCN）を提案する。
• 実世界のハイパーグラフに対する半教師あり学習と組合せ最適化におけるHyperGCNの有効性を実証する。
• HyperGCNをHGNNやMLPベースの手法を含むベースラインと比較し、HyperGCNが優れる領域を特定する。

提案手法

• 各ハイパーエッジを線形なエッジ集合に変換するハイパーグラフ・ラプラシアンベースの近似を定義する。
• 畳み込みのためにハイパーエッジごとにちょうど1つの代表エッジを使用する1-HyperGCNを提案する。
• 媒介者を用いて1-HyperGCNを拡張し、一般化ハイパーグラフ・ラプラシアン（媒介者付きHyperGCN）を形成する。
• faster trainingのために初期特徴を用いてラプラシアンを事前計算するFastHyperGCNを導入する。
• トレーニングアルゴリズム（HyperGCN、FastHyperGCN、1-HyperGCN）を提供し、それらの計算量を分析する。
• HyperGCNはクリークベースの展開と比較して各ハイパーエッジあたりのエッジ成長を線形に抑えることを示す。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルを用いた半教師あり学習において、ハイパーグラフを効果的に活用するにはどうすればよいか。
• RQ2 実世界のハイパーグラフでHyperGCNがクリークベースのHGNNを上回るのはどのような場合か（特に大きくノイズのあるハイパーエッジを含む場合）。
• RQ3 HyperGCNの各変種における精度と訓練時間の計算上のトレードオフはどうなるか。
• RQ4 HyperGCNはSSLを超えたハイパーグラフ上の組合せ最適化問題にも適用できるか。

主な発見

データ	手法	DBLP	PubMed	Cora co-authorship	Cora co-citation	Citeseer
DBLP	CI	54.81±0.9	52.96±0.8	55.45±0.6	64.40±0.8	70.37±0.3
DBLP	MLP	37.77±2.0	30.70±1.6	41.25±1.9	42.14±1.8	41.12±1.7
DBLP	MLP + HLR	30.42±2.1	30.18±1.5	34.87±1.8	36.98±1.8	37.75±1.6
DBLP	HGNN	25.65±2.1	29.41±1.5	31.90±1.9	32.41±1.8	37.40±1.6
DBLP	1-HyperGCN	33.87±2.4	30.08±1.5	36.22±2.2	34.45±2.1	38.87±1.9
DBLP	FastHyperGCN	27.34±2.1	29.48±1.6	32.54±1.8	32.43±1.8	37.42±1.7
DBLP	HyperGCN	24.09±2.0	25.56±1.6	30.08±1.8	32.37±1.7	37.35±1.6

• Real-worldのハイパーグラフでノイズの多い大規模ハイパーエッジを持つ場合、HyperGCN、FastHyperGCN、1-HyperGCNはHGNNを上回る（DBLP、PubMed、Cora共著）。
• HyperGCNはほとんどのSSLデータセットで平均テスト誤差が最も良好になる：DBLP 24.09±2.0、PubMed 25.56±1.6、Cora co-authorship 30.08±1.8、Cora co-citation 32.37±1.6、Citeseer 37.35±1.6。
• FastHyperGCNは一般に訓練時間が速く、HyperGCNに近い性能を示すことが多い。
• HGNNはデータセットによっては依然競争力がある（例：Cora/Citeseer co-citationのような小さめ・ノイズ少なめのハイパーエッジ）。
• 合成/ノイズのあるハイパーグラフでは、ハイパーエッジのサイズとノイズが増加するにつれてHyperGCN法がHGNNより頑健性の利点を示す。
• ハイパーグラフ上の組合せ最適化タスクでは、HyperGCNベースのアプローチが密度の点でいくつかのベースラインを上回る。