[논문 리뷰] Convolutional Learning on Simplicial Complexes

Maosheng Yang, Elvin Isufi|arXiv (Cornell University)|2023. 01. 26.

Topological and Geometric Data Analysis인용 수 6

한 줄 요약

이 논문은 공통 면과 코면을 통한 하위 및 상위 인접성을 이용하여 단체 복합체 위에서 다단계 컨볼루션을 수행하는 단체 복합체 컨volutional 신경망(SimClicial Complex Convolutional Neural Network, SCCNN)을 제안한다. 이는 고차원 구조에서의 학습을 가능하게 하며, 순열 및 방향 불변성, 허드지 이론을 통한 스펙트럼 분석을 달성하고, 이전의 GNN 기반 모델들보다 개선된 안정성과 성능을 보인다. 단체 및 궤적 예측 작업에서 성능 향상을 이룬다.

ABSTRACT

We propose a simplicial complex convolutional neural network (SCCNN) to learn data representations on simplicial complexes. It performs convolutions based on the multi-hop simplicial adjacencies via common faces and cofaces independently and captures the inter-simplicial couplings, generalizing state-of-the-art. Upon studying symmetries of the simplicial domain and the data space, it is shown to be permutation and orientation equivariant, thus, incorporating such inductive biases. Based on the Hodge theory, we perform a spectral analysis to understand how SCCNNs regulate data in different frequencies, showing that the convolutions via faces and cofaces operate in two orthogonal data spaces. Lastly, we study the stability of SCCNNs to domain deformations and examine the effects of various factors. Empirical results show the benefits of higher-order convolutions and inter-simplicial couplings in simplex prediction and trajectory prediction.

연구 동기 및 목표

• 실생활 데이터인 사회 그룹, 유전자 네트워크, 공동 저자 협업과 같은 다항 및 고차원 관계를 모델링하는 데에 그래프 신경망(GNN)의 한계를 해결하기 위해.
• 다양한 단체 순서(예: 노드, 변, 삼각형) 간의 상호 단체 결합을 포착하면서 최신 GNN을 일반화하는 신경망 프레임워크를 개발하기 위해.
• 순열 및 방향 불변성을 학습에 통합하기 위해 단체 복합체에서 유도된 편향을 삽입하기 위해.
• 허드지 이론을 이용해 SCCNN이 다양한 주파수 대역에서 데이터를 어떻게 조절하는지에 대한 스펙트럼 이해를 제공하기 위해.
• 도메인 변형에 대한 SCCNN의 안정성과 고차원 컨볼루션의 강력한 표현 학습에서의 역할을 분석하기 위해.

제안 방법

• 각 단체 순서에 대해 하위(면 기반) 및 상위(코면 기반) 인접성에서 독립적인 다단계 컨볼루션을 수행하는 단체 복합체 컨volutional 신경망(SCCNN)을 제안한다.
• 단체 인접성을 나타내기 위해 incidence 행렬 $\mathbf{B}_k$ 를 사용하고, 허드지 라플라시안을 이용해 스펙트럼 도메인에서 컨볼루션 필터를 정의한다.
• 군 이론적 분석을 통해 순열 및 방향 불변성을 강제하고, 대칭성을 네트워크 아키텍처에 통합한다.
• 기울기 및 코일 성분을 포함한 허드지 분해를 사용해 스펙트럼 분석을 수행하여, 다양한 컨볼루션들이 수직 부분공간에서 데이터를 어떻게 조절하는지 해석한다.
• 도메인 페르터베이션에 대한 필터 반응을 제약함으로써 안정성을 향상시키기 위해 통합 리프시츠 정규화자 $r_{\rm{IL}}$ 를 도입한다.
• 완전한 고유분해 없이도 효율적으로 정규화자를 계산하기 위해 Hodge 라플라시안 고유주파수를 근사하기 위해 거듭제곱 반복법을 사용한다.

(a) SC example

실험 결과

연구 질문

• RQ1 그래프 기반 메시지 전파를 고차원 단체 구조로 일반화하면서 상호 단체 결합을 유지할 수 있는가?
• RQ2 단체 복합체와 그 위에 정의된 데이터에 존재하는 대칭성은 무엇이며, 이를 신경망에 유도된 편향으로 통합할 수 있는가?
• RQ3 SCCNN의 하위 및 상위 인접성은 어떻게 다른 스펙트럼 부분공간에서 데이터를 조절하는가? 그리고 허드지 분해는 이 과정에서 어떤 역할을 하는가?
• RQ4 고차원 컨볼루션과 상호 단체 결합은 단체 및 궤적 예측 작업에서 성능 향상에 얼마나 기여하는가?
• RQ5 컨볼루션 필터의 통합 리프시츠 성질은 도메인 변형 하에서 SCCNN의 안정성에 어떤 영향을 미치는가?

주요 결과

• SCCNN는 표준 GNN과 PSNN보다 단체 예측 및 합성 궤적 예측에서 뛰어난 성능을 보이며, SCCNN-Edge는 $T=2$ 시점에서 65.2 ± 4.1%의 정확도를 기록한다.
• 통합 리프시츠 정규화자가 안정성 향상에 크게 기여하며, 특히 고차원 필터에서 $\mathbf{L}_{1,{\rm{d}}}$ 및 $\mathbf{L}_{1,{\rm{u}}}$ 의 페르터베이션에 대한 출력 민감도를 감소시킨다.
• 학습된 SCCNN에서 $T_{\rm{d}}=T_{\rm{u}}=5$ 인 경우 PSNN보다 더 높은 예측 정확도를 달성하면서도 페르터베이션 하에서도 강건성을 유지한다.
• 정규화자 $r_{\rm{IL}}$ 를 적용한 학습된 SCCNN은 정규화되지 않은 경우보다 낮은 통합 리프시츠 상수를 보이며, 안정성 향상을 확인한다.
• 스펙트럼 분석 결과 하위 및 상위 컨볼루션은 기울기 및 코일 성분에 해당하는 두 개의 수직 데이터 부분공간에서 작용하는 것으로 확인되었다.
• 실험 결과는 고차원 컨볼루션과 상호 단체 결합이 고차원 네트워크에서 복잡한 상관관계 패턴을 포착하는 데 있어 핵심적임을 보여준다.

(b) Lower edge convolutions