[論文レビュー] High-Order Pooling for Graph Neural Networks with Tensor Decomposition

Chenqing Hua, Guillaume Rabusseau+1 more|arXiv (Cornell University)|May 24, 2022

Tensor decomposition and applications被引用数 6

ひとこと要約

本稿では、順列不変な多次元線形写像を用いて、ノード特徴量間の高次非線形相互作用を対称的CP分解を用いてモデル化する、テンソル化されたグラフニューラルネットワークtGNNを提案する。この手法は、標準的なプーリング層を学習可能で表現力のあるCPベースの集約層に置き換えることで、複数のOGBベンチマークで最先端の性能を達成し、計算効率を維持したままノード分類およびグラフ分類の精度を顕著に向上させる。

ABSTRACT

Graph Neural Networks (GNNs) are attracting growing attention due to their effectiveness and flexibility in modeling a variety of graph-structured data. Exiting GNN architectures usually adopt simple pooling operations (eg. sum, average, max) when aggregating messages from a local neighborhood for updating node representation or pooling node representations from the entire graph to compute the graph representation. Though simple and effective, these linear operations do not model high-order non-linear interactions among nodes. We propose the Tensorized Graph Neural Network (tGNN), a highly expressive GNN architecture relying on tensor decomposition to model high-order non-linear node interactions. tGNN leverages the symmetric CP decomposition to efficiently parameterize permutation-invariant multilinear maps for modeling node interactions. Theoretical and empirical analysis on both node and graph classification tasks show the superiority of tGNN over competitive baselines. In particular, tGNN achieves the most solid results on two OGB node classification datasets and one OGB graph classification dataset.

研究の動機と目的

• グラフニューラルネットワークにおける標準的な線形プーリング操作（例：和、平均、最大値）の表現力の限界、特にノード間の高次非線形相互作用をモデル化できない点を解決すること。
• 指数的複雑性を伴わずに、ノード表現間の複雑な多次元線形相互作用を捉える計算効率の良い手法を開発すること。
• 対称的テンソル分解に基づく順列不変な集約層を設計し、従来のプーリング関数を一般化し、その能力を上回ること。
• 多様な実世界のデータセットを用いたノード分類およびグラフ分類タスクにおいて、提案されたCPベースのプーリング層の優位性を実証的に検証すること。
• テンソル分解を介して学習される高次相互作用が、既存のGNNアーキテクチャよりも表現力に優れたノードおよびグラフ表現をもたらすことを示すこと。

提案手法

• 本稿では、ノード表現上での順列不変な多次元線形写像をパrameter化するため、対称的CANDECOMP/PARAFAC（CP）分解に基づくCP層を導入する。
• CP層は、高次テンソルをランク1テンソルの和に分解することで、高次非線形相互作用を効率的にモデル化し、パラメータ効率の良い計算を可能にする。
• この手法は、GNNにおける標準的なプーリング関数（例：和、平均）を学習可能で表現力のある代替手段に置き換えるためのドロップインリプレースメントとして統合される。
• アーキテクチャは、低次元線形プーリング（例：和）と高次非線形CPプーリングの両方を組み合わせ、両者の寄与を学習可能な線形結合で調整する。
• 理論的分析により、CP層は任意の順列不変な多次元線形多項式（和や平均プーリングを含む）を計算でき、確率1の意味でそれらよりも厳密に表現力が優れていることが証明されている。
• モデルは標準的なGNNのバックプロパゲーションを用いてエンドツーエンドで訓練され、CP層のパラメータは勾配降下法により更新される。

実験結果

リサーチクエスチョン

• RQ1 テンソル分解に基づく集約層は、標準的な線形プーリング操作よりも、ノード特徴量間の高次非線形相互作用をより効果的にモデル化できるか？
• RQ2 GNNの文脈において、提案されたCP層は古典的な和プーリングおよび平均プーリング関数よりも普遍的に表現力が優れているか？
• RQ3 GNNに高次CPプーリングを統合することで、ノード分類およびグラフ分類ベンチマークにおける性能が向上するか？
• RQ4 テンソル分解のランクを増加させた場合、モデルの表現力と計算コストのトレードオフはどのように変化するか？
• RQ5 提案手法は、学術論文ネットワークや分子グラフを含む多様なグラフデータセットに一般化可能か？

主な発見

• tGNNは、2つのOGBノード分類データセット（ogbn-magおよびogbn-arxiv）および1つのOGBグラフ分類データセット（ogbg-molpcba）で最先端の性能を達成し、競合するベースラインを上回る。
• CoraおよびPubMedの学術論文ネットワークにおいて、アブレーションスタディにより、高次CPプーリングのみでも低次線形プーリングを上回る性能を示し、両者の組み合わせが最良の結果をもたらすことが確認された。
• 分解ランクを増加させても精度向上はわずかであったが、隠れ次元が増加するにつれてベースラインは性能が頭打ちに達するのに対し、tGNNは優れたスケーラビリティと表現力を示した。
• CPU上での実験では、同じパラメータ予算と時間制約下で、GCN、GAT、GCN2と比較してtGNNは競争力ある学習速度を維持し、より高い精度を達成した。
• アブレーションスタディにより、低次線形プーリングと高次CPプーリングの両方を含めることで、単独で使用する場合よりも優れた性能が得られ、多スケール相互作用モデリングの重要性が示された。
• 理論的分析により、ランダムなCP層で計算可能な関数は、和プーリングや平均プーリングのみでは再現不可能であることが確認され、CP層の厳密な表現力優位性が確立された。