[論文レビュー] Sheaf Neural Networks with Connection Laplacians

Federico Barbero, Cristian Bodnar+4 more|arXiv (Cornell University)|Jun 17, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、多様体仮定の下で隣接ノードの接空間を最適に整合させるために直交写像を用いる決定論的で事前処理型の方法を提案し、シーヴ神経ネットワーク（SNN）におけるシーヴラプラシアンの計算を実現する。微分幾何学とグラフ構造を活用することで、勾配ベースのシーヴ学習よりも計算コストが低く、推論が高速化された競争力のある性能を達成する。

ABSTRACT

A Sheaf Neural Network (SNN) is a type of Graph Neural Network (GNN) that operates on a sheaf, an object that equips a graph with vector spaces over its nodes and edges and linear maps between these spaces. SNNs have been shown to have useful theoretical properties that help tackle issues arising from heterophily and over-smoothing. One complication intrinsic to these models is finding a good sheaf for the task to be solved. Previous works proposed two diametrically opposed approaches: manually constructing the sheaf based on domain knowledge and learning the sheaf end-to-end using gradient-based methods. However, domain knowledge is often insufficient, while learning a sheaf could lead to overfitting and significant computational overhead. In this work, we propose a novel way of computing sheaves drawing inspiration from Riemannian geometry: we leverage the manifold assumption to compute manifold-and-graph-aware orthogonal maps, which optimally align the tangent spaces of neighbouring data points. We show that this approach achieves promising results with less computational overhead when compared to previous SNN models. Overall, this work provides an interesting connection between algebraic topology and differential geometry, and we hope that it will spark future research in this direction.

研究の動機と目的

• 手動による構築では一般化が困難で、エンドツーエンド学習では計算コストが高く、過学習のリスクが伴う、シーヴ神経ネットワーク（SNN）におけるシーヴ初期化の課題に対処する。
• パrameterを含まない非パrametricな事前計算されたシーヴ構造を導入することで、既存のSNNの限界を克服し、データから幾何的インダクティブバイアスを埋め込む。
• シーヴパラメータを逆誤差伝搬によって最適化する必要をなくすことで、トレーニング時間とパラメータ数を削減する。
• 微分幾何学（接空間の整合）とグラフ構造データの統合を検討し、異相性設定における一般化性能の向上を図る。
• 決定論的で多様体に注意を払ったシーヴ計算が、多様なベンチマークデータセットにおいて学習可能なシーヴモデルと同等またはそれを上回る性能を達成できることを実証する。

提案手法

• 各ノードの1ホップ近傍における主成分分析（PCA）を用いて、局所的な接空間を計算し、局所的な多様体構造を推定する。
• それぞれのノード対間で、その接空間を最適に整合させる直交変換行列 $ O_{ij} $ を導出する。これは、またはthonormal基底間の距離を最小化することで実現される。
• これらの直交写像から接続ラプラシアンを構築し、パラメータを含まないグラフおよび多様体に注意を払ったシーヴラプラシアンを形成する。
• シーヴラプラシアンをデータ事前処理段階で事前に計算し、主なモデルトレーニングフェーズから分離する。
• 標準的なGNNメッセージパッシングを用い、事前に計算されたラプラシアンをシーヴ神経ネットワーク（SNN）に統合し、推論およびトレーニングに使用する。
• シーヴを逆誤差伝搬しないことで、スケーラビリティと効率性を確保し、メモリと計算要求を低減する。

実験結果

リサーチクエスチョン

• RQ1 決定論的で幾何学的駆動のシーヴラプラシアン計算手法が、精度と効率の面でエンドツーエンド学習可能なシーヴよりも優れているか？
• RQ2 特に接空間の整合という微分幾何学的原則を組み込むことで、異相性グラフ学習のシナリオにおける一般化性能が向上するか？
• RQ3 事前にシーヴラプラシアンを計算することで、モデル性能を損なわずにトレーニング時間とパラメータ数をどの程度削減できるか？
• RQ4 異なる同相性レベルを示すデータセットにおいて、本手法はランダムな直交シーヴベースラインや他のSNNバージョンと比較してどのように異なるか？
• RQ5 低ノード数、高エッジ数、低同相性などのグラフ環境では、決定論的シーヴ計算が最も顕著な利点を示すか？

主な発見

• Conn-NSDはTexasやFilmといった異相性データセットで最先端の性能を達成し、Diag-NSD、O(d)-NSD、Gen-NSDを上回った。
• ノード数とエッジ数が多く、MLP性能が低いSquirrelデータセットにおいても、Conn-NSDはランダムシーヴベースラインを上回ったが、完全に学習可能なモデルに比べてやや劣った。
• Squirrelデータセットでは、O(d)-NSDベースラインと比較して推論時間が45.8％高速化され、事前に計算されたラプラシアンのおかげでトレーニングも高速化された。
• シーヴを経由する勾配計算を排除することで、計算オーバーヘッドを一貫して低減し、データセット全体で1エポックあたり0.010〜0.310秒の平均推論時間を達成した。
• Cora、Citeseer、Pubmedにおいても、Conn-NSDは競争力のある性能を維持し、最良のパフォーマンスを示すモデルに近く、学習可能なパラメータ数も少ない。
• 本手法は、多様体仮定に基づく幾何的構造が、SNNにおける過学習を低減し、一般化性能を向上させる有効なインダクティブバイアスとして機能できることを示した。