[論文レビュー] Hypergraph Convolution and Hypergraph Attention

Song Bai, Feihu Zhang+1 more|arXiv (Cornell University)|Jan 23, 2019

Advanced Graph Neural Networks参考文献 73被引用数 39

ひとこと要約

この論文はハイパーグラフ畳み込みとハイパーグラフ注意機構を導入し、グラフニューラルネットワークを高次の関係へ拡張し、半教師ありノード分類でペアワイズGNNより性能向上を示している。

ABSTRACT

Recently, graph neural networks have attracted great attention and achieved prominent performance in various research fields. Most of those algorithms have assumed pairwise relationships of objects of interest. However, in many real applications, the relationships between objects are in higher-order, beyond a pairwise formulation. To efficiently learn deep embeddings on the high-order graph-structured data, we introduce two end-to-end trainable operators to the family of graph neural networks, i.e., hypergraph convolution and hypergraph attention. Whilst hypergraph convolution defines the basic formulation of performing convolution on a hypergraph, hypergraph attention further enhances the capacity of representation learning by leveraging an attention module. With the two operators, a graph neural network is readily extended to a more flexible model and applied to diverse applications where non-pairwise relationships are observed. Extensive experimental results with semi-supervised node classification demonstrate the effectiveness of hypergraph convolution and hypergraph attention.

研究の動機と目的

• 単純なグラフを超える高次（非対）関係についての学習を動機づける。
• エンドツーエンドで学習可能なハイパーグラフ畳み込みとハイパーグラフ注意演算子を導入する。
• ベンチマークデータセット上で半教師ありノード分類性能の改善を実証する。

提案手法

• インシデンス行列 H、頂点次数 D、ハイパーエッジ次数 B を持つハイパーグラフを定義する。
• ハイパーグラフ畳み込みを提案する: X^{(l+1)} = σ(D^{-1/2} H W B^{-1} H^T D^{-1/2} X^{(l)} P) (symmetric normalization) or X^{(l+1)} = σ(D^{-1} H W B^{-1} H^T X^{(l)} P) (asymmetric normalization).
• 標準のグラフ畳み込みは、ハイパーエッジがペアワイズである場合、ハイパーグラフ畳み込みの特殊ケースであることを証明する。
• 注意スコアを介して動的なインシデンス行列 H を学習することで、ハイパーグラフ注意をオプションで有効化する（Eq. 7–8）。
• 実用的な側面: 計算複雑さ、スパース性、スキップ接続、およびマルチヘッド拡張（Eq. 13）を議論する。
• 既存のGNNと統合し、非対関係を活用する方法を示す。

実験結果

リサーチクエスチョン

• RQ1 ハイパーグラフ畳み込みはグラフ畳み込みを高次の関係へ一般化できるか？
• RQ2 ハイパーグラフ注意は動的接続性を学習することによりさらなる性能向上をもたらすか？
• RQ3 標準的な半教師ありノード分類のベンチマークにおいて、ハイパーグラフ演算子はGCN/GATと比較してどう性能を示すか？
• RQ4 ハイパーグラフ演算子を実装する際の実用的な考慮事項（正規化、スパース性、学習の安定性）は何か？

主な発見

方法	Cora	Citeseer	Pubmed
多層パーセプトロン	55.1	46.5	71.4
多様体正則化	59.5	60.1	70.7
半教師付き埋め込み	59.0	59.6	71.7
ラベル伝播	68.0	45.3	63.0
DeepWalk	67.2	43.2	65.3
反復分類アルゴリズム	75.1	69.1	73.9
Planetoid	75.7	64.7	77.2
Chebyshev	81.2	69.8	74.4
MoNet	81.7	-	78.8
分散低減	82.0	70.9	79.0
グラフ畳み込みネットワーク	81.5	70.3	79.0
Feng et al.	81.6	-	-
私たちの（Hypergraph Conv）	82.7 ±0.3	71.2 ±0.4	78.4 ±0.3

• ハイパーグラフ畳み込みは、ハイパーエッジがペアワイズで適切に正規化されている場合、グラフ畳み込みに縮約される。
• ハイパーグラフ注意は、ハイパーエッジ上の動的接続性を学習することにより結果をさらに改善する。
• CoraとCiteseerでは、ハイパーグラフベースの方法が、ペアワイズの対応手法を上回る（例: Hyper-Conv. vs GCN*, Hyper-Atten. vs GAT*）。
• Pubmedでは、ハイパーグラフ注意は最先端手法と競合する精度を達成する。
• 表ベースの比較は Table 5 において Ours が 82.7% (Cora)、71.2% (Citeseer)、78.4% (Pubmed) を達成しており、いくつかのベースラインとほぼ同等またはそれを上回る。