[論文レビュー] Pseudo-Riemannian Graph Convolutional Networks

Bo Xiong, Shichao Zhu+4 more|arXiv (Cornell University)|Jun 6, 2021

Morphological variations and asymmetry被引用数 8

ひとこと要約

本稿では、一定でゼロでない曲率を持つ擬リーマン多様体へとグラフニューラルネットワークを拡張する、Pseudo-Riemannian Graph Convolutional Networks (Q-GCN) という新規フレームワークを提案する。複雑で多様なグラフトポロジーの柔軟なモデリングを可能にする。地理的非連結性に対処するための新しい地理的ツールを開発することで、Q-GCN は多様なグラフ構造においてノード分類、リンク予測、グラフ再構築のタスクで最先端の性能を達成し、リーマン的およびユークリッド的ベースラインを上回る。

ABSTRACT

Graph convolutional networks (GCNs) are powerful frameworks for learning embeddings of graph-structured data. GCNs are traditionally studied through the lens of Euclidean geometry. Recent works find that non-Euclidean Riemannian manifolds provide specific inductive biases for embedding hierarchical or spherical data. However, they cannot align well with data of mixed graph topologies. We consider a larger class of pseudo-Riemannian manifolds that generalize hyperboloid and sphere. We develop new geodesic tools that allow for extending neural network operations into geodesically disconnected pseudo-Riemannian manifolds. As a consequence, we derive a pseudo-Riemannian GCN that models data in pseudo-Riemannian manifolds of constant nonzero curvature in the context of graph neural networks. Our method provides a geometric inductive bias that is sufficiently flexible to model mixed heterogeneous topologies like hierarchical graphs with cycles. We demonstrate the representational capabilities of this method by applying it to the tasks of graph reconstruction, node classification and link prediction on a series of standard graphs with mixed topologies. Empirical results demonstrate that our method outperforms Riemannian counterparts when embedding graphs of complex topologies.

研究の動機と目的

• 階層的かつ巡回的構造を併せ持つ複雑で多様なグラフトポロジーをモデル化する際、既存のグラフニューラルネットワークの限界を解消すること。
• 神経ネットワークの操作の実施を妨げる、擬リーマン多様体における地理的非連結性を克服すること。
• ユークリッド幾何とリーマン幾何を超えて、一定でゼロでない曲率を持つ擬リーマン多様体へと一般化する、原理的かつ微分可能なフレームワークを構築すること。
• 混合曲率を柔軟に扱える幾何的インダクティブバイアスを提供するとともに、標準的な勾配降下法による最適化を維持すること。
• 複雑なトポロジーを持つ標準ベンチマーク上での、提案手法の表現力と効率性を実証的に検証すること。

提案手法

• 地理的非連結性を回避するために、微分同相な多様体構造 (S × R) を導入し、滑らかな地理的操作を可能にする。
• 擬リーマン幾何の不定計量に適応した、新しい地理的ツール（接空間上の線形変換および集約操作）を定義する。
• 微分同相を介して適応された、指数写像およびその逆写像を用いた一般化された接空間操作を採用する。
• 初期特徴量はユークリッド空間にあり、以降の層では微分可能かつ全単射な変換により、擬リーマン多様体へとマッピングされ、その上で操作が行われる。
• 地理的ベースのメッセージパッシングを用いた近隣集約を統合し、非リーマン的設定への GCN 操作の一般化を実現する。
• グラフ構造とは独立して、擬放物面幾何の表現力を検証するため、一般化された MLP の変種 Q-NN を導入する。

実験結果

リサーチクエスチョン

• RQ1 不確定計量を持つ擬リーマン幾何は、リーマン的またはユークリッド的幾何に比べ、複雑なグラフトポロジーのモデリングにおいてより柔軟なインダクティブバイアスを提供できるか？
• RQ2 地理的非連結性があるにもかかわらず、神経ネットワークの操作をどのように擬リーマン多様体へと拡張できるか？
• RQ3 混合曲率を持つグラフにおいて、擬リーマン多様体に基づく統一的フレームワークが、既存のリーマン的およびユークリッド的 GCN より優れた性能を発揮するか？
• RQ4 擬放物面多様体における時間次元 (t) は、階層的構造と巡回的構造の両方を捉える上で果たす役割は何か？
• RQ5 より洗練された幾何的インダクティブバイアスを提供しつつ、計算効率を維持できるか？

主な発見

• Q-GCN は、階層的および巡回的構造を併せ持つ混合トポロジーを持つグラフにおいて、ノード分類およびリンク予測タスクでリーマン的 GCN やユークリッド的 GCN を上回る性能を発揮する。
• 強い階層的構造を示す PubMed データセットでは、性能が小さい時間次元 (t) でピークに達し、モデルが木構造トポロジーを効果的に捉えられることを裏付けている。
• より多くのサイクルを含む Cora データセットでは、時間次元が大きいほど性能が向上し、正の曲率成分とのより良い整合性を示している。
• Q-NN は、MLP や HNN よりもノード分類タスクで優れた性能を発揮し、下位の幾何的構造の表現力の高さを実証している。
• Q-GCN は、非ユークリッド的成分よりも高速なユークリッド的成分 (R) を有する微分同相多様体 (S × R) を採用しているため、Prod-GCN (H⁵ × S⁵) よりも高い計算効率を達成している。
• UMAP を用いた可視化により、PubMed の Poincaré ディスク投影において Q-GCN の埋め込みは、原点付近に多数のハブノードを有する明確な階層的構造を示しており、木構造グラフを効果的にモデル化できることを確認した。