[論文レビュー] You are AllSet: A Multiset Function Framework for Hypergraph Neural Networks

Eli Chien, Chao Pan+2 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Graph Neural Networks被引用数 23

ひとこと要約

本稿では、学習可能なマルチセット関数の合成として伝搬ルールをモデル化することにより、従来の手法を一般化する、ハイパーグラフニューラルネットワーク向けの新規マルチセット関数フレームワークAllSetを提案する。Deep SetsとSet Transformersを統合することで、13のベンチマークデータセットにおいてSOTA性能を達成し、ノード分類タスクにおいてYelpおよびZooで最大4%、Walmartで最大3%の性能向上を達成した。

ABSTRACT

Hypergraphs are used to model higher-order interactions amongst agents and there exist many practically relevant instances of hypergraph datasets. To enable efficient processing of hypergraph-structured data, several hypergraph neural network platforms have been proposed for learning hypergraph properties and structure, with a special focus on node classification. However, almost all existing methods use heuristic propagation rules and offer suboptimal performance on many datasets. We propose AllSet, a new hypergraph neural network paradigm that represents a highly general framework for (hyper)graph neural networks and for the first time implements hypergraph neural network layers as compositions of two multiset functions that can be efficiently learned for each task and each dataset. Furthermore, AllSet draws on new connections between hypergraph neural networks and recent advances in deep learning of multiset functions. In particular, the proposed architecture utilizes Deep Sets and Set Transformer architectures that allow for significant modeling flexibility and offer high expressive power. To evaluate the performance of AllSet, we conduct the most extensive experiments to date involving ten known benchmarking datasets and three newly curated datasets that represent significant challenges for hypergraph node classification. The results demonstrate that AllSet has the unique ability to consistently either match or outperform all other hypergraph neural networks across the tested datasets.

研究の動機と目的

• 既存の伝搬ルールを包含する一般化可能で学習可能なハイパーグラフニューラルネットワークのフレームワークを構築すること。
• 特にクライク拡張に基づく手法が高次関係を歪めることを懸念し、ハイパーグラフ学習におけるヒューリスティックな伝搬スキームの限界を克服すること。
• マルチセット関数の合成を通じて、特定のデータセットやタスクに最適化された最適な伝搬ルールをエンドツーエンドで学習可能にする仕組みを提供すること。
• Deep SetsとSet Transformersの表現力の高さをハイパーグラフニューラルネットワークに統合し、より柔軟なモデリングを可能にすること。
• Cora、Citeseer、Pubmed、Yelp、Walmartなど、13のデータセット（うち3つは新規に収集）を含む包括的な評価を通じて、優れた一般化性能と高い性能を示すこと。

提案手法

• AllSetはハイパーグラフニューラルネットワーク層を2つのマルチセット関数の合成として表現し、多様な伝搬ルールを統一的に扱うフレームワークを実現する。
• 本フレームワークはMPNN（Message Passing Neural Networks）をハイパーグラフに一般化し、CEベースおよびテンソルベース（例：Z-固有値問題）の手法を特別なケースとして包含する。
• 2つの新規アーキテクチャを提案する：AllDeepSetsとAllSetTransformer。両者ともエンドツーエンドで学習可能であり、既存のGNNフレームワークと互換性を持つ。
• AllDeepSetsはマルチセットプーリングとフィードフォワードネットワークを用い、AllSetTransformerはSet Transformersにインspiredされたアテンション機構を採用して、より洗練された特徴集約を実現する。
• 本手法はデータから直接伝搬ルールを学習し、固定されたヒューリスティックスキームを回避することで、タスクおよびデータセットに最適化された最適化を可能にする。
• Cora、Citeseer、Pubmed、Yelp、Walmartなど13のデータセットを用いた広範なアブレーションおよびハイパーパrameterチューニングを通じてフレームワークの有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 クライク拡張に基づくおよびテンソルベースのハイパーグラフ伝搬ルールを両方包含する統一フレームワークを設計できるか？
• RQ2 マルチセット関数を用いることで、ハイパーグラフニューラルネットワーク向けに最適なデータ駆動型伝搬ルールを効果的に学習できるか？
• RQ3 Deep SetsとSet Transformersをハイパーグラフ学習に統合することで、モデリング能力と性能が顕著に向上するか？
• RQ4 提案されたフレームワークは、新規に収集されたデータセットを含む多様なハイパーグラフデータセットに一般化可能で、一貫した性能向上を示せるか？
• RQ5 複数のベンチマークおよび実世界のデータセットにおいて、AllSetは既存のSOTAハイパーグラフニューラルネットワークを上回る性能を示すか？

主な発見

• AllSetは、10の公開データセットと3つの新規に収集したベンチマークを含む全13のテストデータセットでSOTA性能を達成した。
• YelpおよびZooデータセットでは、既存のハイパーグラフニューラルネットワークおよび非均質的GNNベースラインに対して、性能が約4%向上した。
• Walmartデータセットでは、先行手法に対して3%の性能向上を達成し、大規模な実世界データに対して高いロバスト性を示した。
• AllSetフレームワークはMPNNをハイパーグラフに一般化し、HyperGCN、HGNN、HCHA、HNHN、HyperSAGEなどの既存手法を特別なケースとして包含した。
• AllDeepSetsとAllSetTransformerは多様なデータセットで優れた性能を示した。特に、ModelNet40や20Newsのような複雑で高次元のデータでは、AllSetTransformerが優れた結果を達成した。
• フレームワークは計算的に効率的でスケーラブルであり、20Newsで唯一1つのモデルバージョンがメモリオーバーフロー（OOM）で収束しなかったが、他のモデルは安定した学習を達成した。