[論文レビュー] HyperSAGE: Generalizing Inductive Representation Learning on Hypergraphs

Devanshu Arya, Deepak Gupta+2 more|arXiv (Cornell University)|Oct 9, 2020

Advanced Graph Neural Networks参考文献 33被引用数 7

ひとこと要約

HyperSAGEは、一般化平均集約と近傍サンプリングを用いて、ハイパーエッジ内およびハイパーエッジ間の二段階メッセージスティングを実行する、新しい帰納的ハイパーグラフニューラルネットワークを提案する。これにより、正確でスケーラブルかつ一般化可能なノード表現学習が可能となり、ベンチマークデータセット上で最先端の手法を上回り、未観測ノードへの一般化も効果的に実現する。進化するハイパーグラフ設定において、優れた安定性と性能を示している。

ABSTRACT

Graphs are the most ubiquitous form of structured data representation used in machine learning. They model, however, only pairwise relations between nodes and are not designed for encoding the higher-order relations found in many real-world datasets. To model such complex relations, hypergraphs have proven to be a natural representation. Learning the node representations in a hypergraph is more complex than in a graph as it involves information propagation at two levels: within every hyperedge and across the hyperedges. Most current approaches first transform a hypergraph structure to a graph for use in existing geometric deep learning algorithms. This transformation leads to information loss, and sub-optimal exploitation of the hypergraph's expressive power. We present HyperSAGE, a novel hypergraph learning framework that uses a two-level neural message passing strategy to accurately and efficiently propagate information through hypergraphs. The flexible design of HyperSAGE facilitates different ways of aggregating neighborhood information. Unlike the majority of related work which is transductive, our approach, inspired by the popular GraphSAGE method, is inductive. Thus, it can also be used on previously unseen nodes, facilitating deployment in problems such as evolving or partially observed hypergraphs. Through extensive experimentation, we show that HyperSAGE outperforms state-of-the-art hypergraph learning methods on representative benchmark datasets. We also demonstrate that the higher expressive power of HyperSAGE makes it more stable in learning node representations as compared to the alternatives.

研究の動機と目的

• 未観測ノードへの一般化ができない従来の伝達的ハイパーグラフ学習手法の限界を解消すること。
• ハイパーグラフをグラフに変換することによる情報損失を克服し、高次関係をより最適に活用すること。
• 進化するまたは部分的に観測されたハイパーグラフにおいても、ノード表現を一般化する帰納的フレームワークを開発すること。
• 一般化平均集約と近傍サンプリングを用いて、柔軟でスケーラブルかつ安定したノード表現学習を可能にすること。
• ハイパーグラフ固有の学習が、グラフ還元に基づく手法よりも正確性と頑健性の両面で優れていることを実証すること。

提案手法

• HyperSAGEは二段階のメッセージスティング機構を採用する：まず各ハイパーエッジ内で特徴を集約し、次にハイパーエッジ間で集約する。
• 近傍集約に一般化平均アグレゲーター（M_p）を用い、ハイパーパrameter p が集約タイプ（例：最小値、最大値、算術平均、幾何平均）を制御する。
• 計算コストの低減と一般化性能の向上を目的に近傍サンプリングを適用し、各ハイパーエッジあたり固定数αの近傍ノードを選択する。
• モデルは帰納的設計となっており、近傍特徴のパrametric関数を学習することで、以前に観測されていなかったノードに対しても推論が可能である。
• 従来のグラフベースのモデル（例：GraphSAGE や GCN）と互換性があり、グラフおよびハイパーグラフの両方で統一的な学習が可能である。
• メッセージスティングは微分可能でエンドツーエンド学習可能であり、学習可能なアグレゲーターと特徴変換のための共有重み行列を用いる。

実験結果

リサーチクエスチョン

• RQ1 進化するハイパーグラフにおいて、帰納的ハイパーグラフ学習フレームワークは、以前に観測されていなかったノードの表現を一般化できるか？
• RQ2 ハイパーグラフにおける二段階のメッセージスティング機構は、グラフ還元に基づく手法に比べ、高次関係をより効果的に捉えられるか？
• RQ3 一般化平均などの異なる集約関数が、モデルの性能と安定性にどのように影響するか？
• RQ4 近傍サンプリングは、ハイパーグラフ学習における一般化性能と過学習の低減にどの程度寄与するか？
• RQ5 HyperSAGEは、標準的なハイパーグラフベンチマークデータセットで最先端の性能を達成しつつ、帰納的特性を維持できるか？

主な発見

• DBLPデータセットでは、HyperSAGEは学習済みノードで78.1%、未学習ノードで73.1%の精度を達成し、ベースラインのMLP+HLR（64.5% および 58.7%）を顕著に上回った。
• PubMedデータセットでは、p=0.01のHyperSAGEが学習済みノードで81.0%、未学習ノードで80.4%の精度を示し、ベースラインのMLP+HLR（66.8% および 62.4%）を上回った。
• Citeseerでは、p=0.01のHyperSAGEが学習済みノードで69.2%、未学習ノードで67.1%の精度を達成し、ベースライン（60.1% および 58.2%）を上回った。
• 集約関数の選択（p）は性能に顕著な影響を及ぼす：PubMedではp=0.01が最良の結果をもたらし、p値が高くなる（例：p=5）と性能が低下した。
• 近傍サンプリングは一般化性能を向上させ、PubMedではα=5で最適な性能を発揮した。α=10では、確率的要因の低下とノイズ露出の増加により性能が低下した。
• HyperSAGEは、すべてのデータセットで学習済みノードと未学習ノードの間で一貫した性能を維持しており、強力な帰納的一般化能力を確認した。