[論文レビュー] Quaternion Graph Neural Networks

Dai Quoc Nguyen, Tu Dinh Nguyen+1 more|arXiv (Cornell University)|Aug 12, 2020

Advanced Graph Neural Networks参考文献 67被引用数 5

ひとこと要約

本稿では、表現力の向上を図るためにハミルトン積を用いた四元数空間におけるグラフ表現学習を実現する、初めての手法である四元数グラフニューラルネットワーク（QGNN）を提案する。QGNNはノード分類、グラフ分類、知識グラフ補完の各タスクで最先端の性能を達成しており、特にSimQGNNは知識グラフ補完のための3つの新規CoDExベンチマークで既存モデルを上回っている。

ABSTRACT

Recently, graph neural networks (GNNs) have become an important and active research direction in deep learning. It is worth noting that most of the existing GNN-based methods learn graph representations within the Euclidean vector space. Beyond the Euclidean space, learning representation and embeddings in hyper-complex space have also shown to be a promising and effective approach. To this end, we propose Quaternion Graph Neural Networks (QGNN) to learn graph representations within the Quaternion space. As demonstrated, the Quaternion space, a hyper-complex vector space, provides highly meaningful computations and analogical calculus through Hamilton product compared to the Euclidean and complex vector spaces. Our QGNN obtains state-of-the-art results on a range of benchmark datasets for graph classification and node classification. Besides, regarding knowledge graphs, our QGNN-based embedding model achieves state-of-the-art results on three new and challenging benchmark datasets for knowledge graph completion. Our code is available at: \url{https://github.com/daiquocnguyen/QGNN}.

研究の動機と目的

• 従来のユークリッド空間にとどまらず、四元数空間を用いたグラフ表現学習の可能性を検討すること。
• 四元数の代数的性質を活用した、より表現力の高いグラフ埋め込みを実現する新しいGNNアーキテクチャの開発。
• ノード分類およびグラフ分類タスクを含む標準的なグラフ学習ベンチマークで最先端の性能を達成すること。
• 統一されたエンティティグラフの構築とQGNNベースのモデルの適用により、知識グラフ補完の性能向上を図ること。
• 広範な評価を通じて、実数値および複素数値のGNNと比較して四元数ベースの表現が優れていることを実証すること。

提案手法

• QGNNは四元数値のノード表現を採用し、メッセージパッシングにハミルトン積を用いることで、標準的なドット積よりも洗練された相互作用を可能にする。
• 学習可能な四元数変換を用いて近隣特徴を集約し、四元数に内在する回転および幾何的性質を保持する。
• グラフレベルのタスクでは、ノード埋め込みを単純な和プーリングで集約してグラフレベルの表現を生成する。
• 知識グラフへの拡張は、三項節からなる単一の無向エンティティグラフを構築し、スコア関数を用いてQGNNを適用することで実現する。
• 構造的複雑性を最小限に抑えた簡素化版であるSimQGNNは、エンティティグラフ上で通常のGNNを四元数埋め込みで適用し、最小限のアーキテクチャ変更で優れた性能を達成する。
• 標準的な最適化法（Adam）を用いたエンドツーエンド学習が可能であり、ハイパーパramータチューニングにはグリッドサーチを採用する。

実験結果

リサーチクエスチョン

• RQ1 四元数空間は、ユークリッド空間および複素数空間と比較して、グラフ表現学習の向上に寄与するか？
• RQ2 ハミルトン積は、標準的なドット積集約と比較して、グラフニューラルネットワークにおけるより表現力のあるメッセージパッシングを可能にするか？
• RQ3 QGNNは、標準的なノード分類およびグラフ分類ベンチマークで最先端の性能を達成できるか？
• RQ4 CoDEx-S、CoDEx-M、CoDEx-Lといった挑戦的でオープンドメインなベンチマークにおいて、QGNNベースのモデルは既存の知識グラフ埋め込み手法を上回る性能を示せるか？
• RQ5 提案されたSimQGNNモデルは、複雑なアーキテクチャの変更なしに、知識グラフ補完において効果的かつ効率的であるか？

主な発見

• SimQGNNはCoDEx-Sで65.2%、CoDEx-Mで47.7%、CoDEx-Lで43.7%のHits@10スコアを達成し、CompGCNやR-GCNを含むすべてのベースラインを上回った。
• CoDEx-LではMRRが0.310、Hits@10が43.7%の最高値を記録し、最も挑戦的とされるデータセットでも安定性を示した。
• QGNNは、ノード分類タスクにおける引用ネットワークデータセット、およびバイオインフォマティクス・ソーシャルネットワークデータセットにおけるグラフ分類タスクで最先端の性能を達成した。
• 同じエンティティグラフ構築法を用いたGCNベースのベースラインであるSimRGCNはSimQGNNに劣っており、四元数表現が実数値GNNに比べて優位であることが示された。
• アブレーション実験では、SimQGNNはCoDEx-S、CoDEx-M、CoDEx-Lでそれぞれ3.1%、2.0%、0.9%のHits@10スコアでCompGCNを上回った。
• すべてのCoDExデータセットで競争力のあるMRRスコアを達成し、特にCoDEx-LではMRRおよびHits@10の両方で第1位を獲得した。