[論文レビュー] Hypergraph Neural Networks

Yifan Feng, Haoxuan You+3 more|arXiv (Cornell University)|Sep 25, 2018

Advanced Graph Neural Networks参考文献 15被引用数 5

ひとこと要約

この論文は、ハイパーグラフ構造を用いて高次元のデータ相関をモデル化することで、グラフ畳み込みネットワーク（GCN）を拡張する一般化されたフレームワークであるハイパーグラフニューラルネットワーク（HGNN）を提案する。ハイパーエッジ畳み込み演算を導入することで、HGNNはデータ内の複雑でマルチモーダルな関係を効率的に捉え、特にマルチモーダル特徴を用いた場合に、引用ネットワークおよび視覚的オブジェクト認識タスクにおいてGCNや最先端手法を上回る性能を発揮する。

ABSTRACT

In this paper, we present a hypergraph neural networks (HGNN) framework for data representation learning, which can encode high-order data correlation in a hypergraph structure. Confronting the challenges of learning representation for complex data in real practice, we propose to incorporate such data structure in a hypergraph, which is more flexible on data modeling, especially when dealing with complex data. In this method, a hyperedge convolution operation is designed to handle the data correlation during representation learning. In this way, traditional hypergraph learning procedure can be conducted using hyperedge convolution operations efficiently. HGNN is able to learn the hidden layer representation considering the high-order data structure, which is a general framework considering the complex data correlations. We have conducted experiments on citation network classification and visual object recognition tasks and compared HGNN with graph convolutional networks and other traditional methods. Experimental results demonstrate that the proposed HGNN method outperforms recent state-of-the-art methods. We can also reveal from the results that the proposed HGNN is superior when dealing with multi-modal data compared with existing methods.

研究の動機と目的

• 2項関係を超えた複雑な高次元のデータ相関をモデル化する際のグラフ畳み込みネットワークの限界を解決すること。
• ハイパーグラフ構造を組み込むことでGCNを一般化し、より優れた表現学習を実現する効率的なディープラーニングフレームワークを開発すること。
• 2つ以上のノードを接続する柔軟なハイパーエッジを活用することで、マルチモーダルデータからの有効な学習を可能にすること。
• 従来のハイパーグラフ学習手法の高い計算コストを、微分可能でニューラルネットワークと互換性のあるハイパーエッジ畳み込み演算によって克服すること。
• 実世界のタスク、例えば引用ネットワーク分類および視覚的オブジェクト認識において、HGNNの優位性を実証すること。

提案手法

• HGNNは、ハイパーエッジが任意の数のノードを接続できるため、高次元で複雑な相関関係をモデル化できるハイパーグラフとしてデータを定式化する。
• ハイパーエッジ畳み込み演算を設計し、ハイパーエッジに沿って特徴を伝搬させることで、ハイパーグラフに一般化されたスペクトル的グラフ畳み込みを実現する。この際、ハイパーグラフラプラシアンを用いる。
• 計算効率と安定性を高めるために、ハイパーグラフ畳み込みを切り捨てられたチェビシェフ多項式で近似する。
• マルチモーダル特徴を統合するために、各モダリティごとに別々のハイパーグラフ隣接行列を構築し、それらを統合されたマルチモーダルハイパーグラフ構造に連結する。
• バックプロパゲーションを用いてエンドツーエンドでモデルを訓練し、ハイパーエッジ畳み込み層がハイパーグラフ構造を介して勾配の流れを可能にする。
• ハイパーエッジが正確に2つのノードを接続する（2次ハイパーエッジ）場合、HGNNはGCNの特別なケースとして一般化されることを示している。

実験結果

リサーチクエスチョン

• RQ1 ハイパーグラフに基づくニューラルネットワークフレームワークは、2項関係を超えた高次元のデータ相関を効果的にモデル化できるか？
• RQ2 提案されたハイパーエッジ畳み込み演算は、従来のグラフ畳み込みと比較して、複雑なデータ構造をどれほど効果的に捉えられるか？
• RQ3 既存の手法と比較して、HGNNはマルチモーダルデータにおいてどの程度性能が向上するか？
• RQ4 実世界のタスクにおいて、HGNNはGCNや従来のハイパーグラフ学習手法よりも優れた表現学習を達成できるか？
• RQ5 複数のモダリティを統合することで、視覚的オブジェクト認識および引用分類タスクにおけるHGNNの性能にどのような影響が生じるか？

主な発見

• ModelNet40データセットでは、HGNNがPointCNNを+4.8%、SO-Netを+3.2%上回る精度を達成し、最先端手法を上回った。
• NTUデータセットでは、GVCNNとMVCNNの両方の特徴を用いた場合、HGNNはGCNに対して10.4%の向上を示し、マルチモーダルデータ処理において優れた性能を発揮した。
• 単一の特徴を用いても、HGNNは一貫した改善を示し、MVCNN特徴を用いた場合にNTUデータセットでGCNを2.0%上回った。
• マルチモーダル特徴を用いる際の性能向上が最も顕著であり、HGNNが異種のデータソースを効果的に統合できる能力を示している。
• すべての実験において、HGNNはGCNを上回る結果を示し、特徴セットやデータセットに応じて0.3%から8.3%の向上を達成した。
• 結果から、特にマルチモーダルな状況において、標準的なグラフ構造よりもハイパーグラフ構造が複雑なデータ関係を捉えるのに効果的であることが確認された。