[논문 리뷰] Simplicial Attention Networks

Christopher Wei Jin Goh, Cristian Bodnar외 1명|arXiv (Cornell University)|2022. 04. 20.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

Simplicial Attention Networks (SAT)는 단순 복합체에 대한 미분 가능하고 주목적 기반의 메시지 전달 메커니즘을 도입하여 이웃 단순체의 동적 가중치 조정과 부호화된 주목적을 통한 방향 불변성을 가능하게 한다. SAT는 이미지 및 궤적 분류 작업에서 GNN과 컨volutional SNN을 능가하며, 초분할 이미지 분류에서 92.99%의 정확도와 궤적 분류에서 93.80%의 정확도를 기록했으며, 방향 불변성 활성화 함수를 사용하였다.

ABSTRACT

Graph representation learning methods have mostly been limited to the modelling of node-wise interactions. Recently, there has been an increased interest in understanding how higher-order structures can be utilised to further enhance the learning abilities of graph neural networks (GNNs) in combinatorial spaces. Simplicial Neural Networks (SNNs) naturally model these interactions by performing message passing on simplicial complexes, higher-dimensional generalisations of graphs. Nonetheless, the computations performed by most existent SNNs are strictly tied to the combinatorial structure of the complex. Leveraging the success of attention mechanisms in structured domains, we propose Simplicial Attention Networks (SAT), a new type of simplicial network that dynamically weighs the interactions between neighbouring simplicies and can readily adapt to novel structures. Additionally, we propose a signed attention mechanism that makes SAT orientation equivariant, a desirable property for models operating on (co)chain complexes. We demonstrate that SAT outperforms existent convolutional SNNs and GNNs in two image and trajectory classification tasks.

연구 동기 및 목표

• 기존 단순 복합 신경망(SNN)이 고정된 조합 구조에 계산을 고정시켜 새로운 단순 복합체로의 일반화 능력을 저해하는 한계를 해결하기 위해.
• 이웃 단순체에 대한 특성 기반 동적 가중치 조정을 가능하게 하여 모델 표현력을 향상시키기 위해 SNN에 주목적 기반 메커니즘을 통합하기 위해.
• 방향 불변성을 확보하기 위해 부호화된 주목적 계수를 도입하여 (코)체인 복합체 내 방향 변화에 대한 강건성을 확보하기 위해.
• 고차원 상호작용을 포함하는 구조적 데이터 작업에서 SAT가 GNN과 컨volutional SNN보다 뛰어난 성능을 보임을 실증적으로 검증하기 위해.

제안 방법

• SAT는 학습 가능한 주목적 계수를 사용하여 상하 이웃 관계에서 이웃 단순체의 기여도를 동적으로 가중하는 방식으로 단순 복합체를 통해 메시지 전달을 수행한다.
• 모델은 스케일된 디트-곱 주목적을 사용하는 다중 헤드 주목적 메커니즘을 사용하며, 쿼리, 키, 밸류 벡터는 노드, 에지 또는 고차원 단순체 특징에서 유도된다.
• 방향 불변성을 확보하기 위해 부호화된 주목적 계수를 도입하였으며, 이는 상대적 방향에 따라 주목적 가중치가 조정되도록 하며, 이에 따라 방향 인자 $ o_{\sigma,\tau} \in \{\pm 1\} $ 가 사용된다.
• 단순 복합 구조의 이론적 기초로 허지 라플라시안을 사용하였으며, $ \mathbf{L}_k = \mathbf{B}_k^\top \mathbf{B}_k + \mathbf{B}_{k+1} \mathbf{B}_{k+1}^\top $ 는 k차원 라플라시안 연산자를 정의한다.
• 분류 작업을 위해 SAT는 3 또는 4층의 계층적 GNN 구조를 사용하며, 전역 평균 풀링과 소프트맥스 출력을 가지는 다층 퍼셉트론 헤드를 이어가고 있다.
• 모델는 가중치 감소와 최적의 학습 성능 기반 조기 정지 전략을 포함한 Adam 옵timizer를 사용하여 훈련된다.

실험 결과

연구 질문

• RQ1 주목적 기반 메커니즘이 이웃 단순체에 대한 특성 기반 동적 집계를 가능하게 하여 단순 복합 신경망의 일반화 능력을 향상시킬 수 있는가?
• RQ2 주목적 기반 메커니즘은 방향이 부여된 단순 복합체에서 방향 불변성을 유지하기 위해 어떻게 적응시킬 수 있는가?
• RQ3 SNN에서 학습 가능한 주목적 기반 메커니즘이 고차원 복합 구조를 포함한 작업에서 고정된 컨볼루션 메시지 전달 방식을 능가하는가?
• RQ4 SAT는 존재하는 SNN과 GNN보다 더 많은 새로운 단순 복합 구조로 일반화하는 데에 더 뛰어난 성능을 보일 수 있는가?

주요 결과

• SAT는 MNIST 초분할 이미지 분류 벤치마크에서 92.99%의 테스트 정확도를 기록하여, GAT(88.95%)와 모든 다른 SNN 기반 모델을 능가하였다.
• 궤적 분류 작업에서 SAT는 ReLU 활성화 함수를 사용할 경우 93.80%의 정확도를 기록하였고, 아이덴티티 활성화 함수를 사용할 경우 92.90%의 정확도를 기록하였으며, SCN(52.80%)과 SCCONV(62.80%)를 크게 능가하였다.
• 방향 불변성 구현 버전의 SAT는 강력한 강건성을 보였으며, 홀수 활성화 함수(예: tanh, 아이덴티티)를 사용한 모델이 ReLU를 사용한 모델보다 더 높은 테스트 정확도를 기록하여 불변성의 이점이 확인되었다.
• SAT는 뛀난 일반화 능력을 보였으며, 대부분의 기준 모델보다 파라미터 수가 적은 상태에서도 이미지 및 궤적 분류 작업에서 최고 성능을 기록하였다.
• 절단 분석 결과, 부호화된 주목적과 방향 불변성은 특히 테스트 데이터에서 무작위로 설정된 에지 방향을 사용할 경우 방향이 부여된 복합체에서 성능 향상에 핵심적인 역할을 한다.