[論文レビュー] Simplicial Attention Networks

Christopher Wei Jin Goh, Cristian Bodnar+1 more|arXiv (Cornell University)|Apr 20, 2022

Advanced Graph Neural Networks被引用数 11

ひとこと要約

単体的注意力ネットワーク（SAT）は、単体複体における微分可能でアテンションベースのメッセージスティンング機構を導入し、隣接する単体の動的重み付けと符号付きアテンションを用いた方向性不変性を実現する。SATは画像分類および軌道分類タスクにおいてGNNや畳み込み型SNNを上回り、MNISTのスーパーピクセル分類で92.99%の正確度を達成し、方向性不変性を有する活性化関数を用いた軌道分類で93.80%の正確度を記録した。

ABSTRACT

Graph representation learning methods have mostly been limited to the modelling of node-wise interactions. Recently, there has been an increased interest in understanding how higher-order structures can be utilised to further enhance the learning abilities of graph neural networks (GNNs) in combinatorial spaces. Simplicial Neural Networks (SNNs) naturally model these interactions by performing message passing on simplicial complexes, higher-dimensional generalisations of graphs. Nonetheless, the computations performed by most existent SNNs are strictly tied to the combinatorial structure of the complex. Leveraging the success of attention mechanisms in structured domains, we propose Simplicial Attention Networks (SAT), a new type of simplicial network that dynamically weighs the interactions between neighbouring simplicies and can readily adapt to novel structures. Additionally, we propose a signed attention mechanism that makes SAT orientation equivariant, a desirable property for models operating on (co)chain complexes. We demonstrate that SAT outperforms existent convolutional SNNs and GNNs in two image and trajectory classification tasks.

研究の動機と目的

• 既存の単体的ニューラルネットワーク（SNN）が固定された組合せ的構造に計算を固定しているという限界に対処し、新規の単体複体への一般化を妨げることを目的とする。
• SNNにアテンション機構を統合し、隣接する単体の動的で特徴依存の重み付けを可能にすることで、モデルの表現力を向上させることを目的とする。
• 符号付きアテンション係数を導入することで、(余)チェイン複体における方向変化に対して頑健な方向性不変性を確保することを目的とする。
• 構造的データのタスク、特に高次相互作用を含むタスクにおいて、SATがGNNや畳み込み型SNNを実証的に上回ることを検証することを目的とする。

提案手法

• SATは、上位および下位の隣接関係における隣接単体からの寄与を動的に重み付けるために、学習可能なアテンション係数を用いて単体複体上でメッセージスティンングを実行する。
• モデルはスケーリングドット積アテンションを用いたマルチヘッドアテンション機構を採用し、クエリ、キー、値ベクトルはノード、エッジ、または高次元単体の特徴から導出される。
• 方向性不変性を保証するために符号付きアテンション係数を導入し、隣接する単体間の相対的向きに基づいてアテンション重みを調整する。その際、向きの要因 $ o_{\sigma,\tau} \in \{\pm 1\} $ が用いられる。
• 単体的構造の理論的基盤としてホッジラプラシアンが用いられ、$ \mathbf{L}_k = \mathbf{B}_k^\top \mathbf{B}_k + \mathbf{B}_{k+1} \mathbf{B}_{k+1}^\top $ が第k位のラプラシアン作用素を定義する。
• 分類タスクでは、3または4層の階層的GNN構成を用い、その後にグローバル平均プーリングとソフトマックス出力を有する多層パーセプトロンヘッドを適用する。
• モデルは重み減衰を伴うAdam最適化法を用いて訓練され、最良の訓練性能に基づいた早期停止が適用される。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構を用いることで、隣接単体の動的で特徴依存の集約を可能にすることで、単体的ニューラルネットワークにおける一般化性能が向上するか？
• RQ2 アテンション機構は、向きが付与された単体複体において、どのように方向性不変性を維持するように適応可能か？
• RQ3 SNNにおける学習可能なアテンション機構は、高次構造を含むタスクにおいて、固定された畳み込み型メッセージスティングを上回るか？
• RQ4 SATは、既存のSNNやGNNと比較して、未観測の単体構造への一般化性能をより優れているか？

主な発見

• SATはMNISTのスーパーピクセル画像分類ベンチマークで92.99%のテスト正確度を達成し、GAT（88.95%）および他のすべてのSNNベースラインを上回った。
• 軌道分類タスクでは、ReLU活性化関数を用いた場合に93.80%の正確度、恒等関数活性化関数を用いた場合に92.90%の正確度を記録し、SCN（52.80%）およびSCCONV（62.80%）を著しく上回った。
• 方向性不変性を備えたSATのバージョンは高い頑健性を示した。奇数次活性化関数（例：tanh、恒等関数）を用いたモデルはReLUを用いたモデルよりも高いテスト正確度を達成しており、不変性の利点を裏付けた。
• SATは優れた一般化性能を示し、多くのベースラインと比較してパrameter数が少ないにもかかわらず、画像分類および軌道分類タスクの両方で最先端の性能を達成した。
• アブレーション実験の結果、符号付きアテンションと方向性不変性は、特にテストデータでエッジの向きをランダムにした場合に、向きが与えられた複体における性能にとって不可欠であることが示された。