[논문 리뷰] Topological Deep Learning: Going Beyond Graph Data

Mustafa Hajij, Ghada Zamzmi외 12명|arXiv (Cornell University)|2022. 06. 01.

Topological and Geometric Data Analysis인용 수 26

한 줄 요약

본 논문은 combinatorial complexes (CCs)를 통합 토폴로지 도메인으로 제시하고, push-forward 기반의 고차 메시지 전달을 갖춘 CC 신경망(CCNNs)을 개발하며, 형태 분석 및 그래프 학습 과제에서 경쟁력 있는 성능을 보임을 입증한다.

ABSTRACT

Topological deep learning is a rapidly growing field that pertains to the development of deep learning models for data supported on topological domains such as simplicial complexes, cell complexes, and hypergraphs, which generalize many domains encountered in scientific computations. In this paper, we present a unifying deep learning framework built upon a richer data structure that includes widely adopted topological domains. Specifically, we first introduce combinatorial complexes, a novel type of topological domain. Combinatorial complexes can be seen as generalizations of graphs that maintain certain desirable properties. Similar to hypergraphs, combinatorial complexes impose no constraints on the set of relations. In addition, combinatorial complexes permit the construction of hierarchical higher-order relations, analogous to those found in simplicial and cell complexes. Thus, combinatorial complexes generalize and combine useful traits of both hypergraphs and cell complexes, which have emerged as two promising abstractions that facilitate the generalization of graph neural networks to topological spaces. Second, building upon combinatorial complexes and their rich combinatorial and algebraic structure, we develop a general class of message-passing combinatorial complex neural networks (CCNNs), focusing primarily on attention-based CCNNs. We characterize permutation and orientation equivariances of CCNNs, and discuss pooling and unpooling operations within CCNNs in detail. Third, we evaluate the performance of CCNNs on tasks related to mesh shape analysis and graph learning. Our experiments demonstrate that CCNNs have competitive performance as compared to state-of-the-art deep learning models specifically tailored to the same tasks. Our findings demonstrate the advantages of incorporating higher-order relations into deep learning models in different applications.

연구 동기 및 목표

• 그래프, 단순 복합체/셀 복합체, 하이퍼그래프를 일반화하는 통합 토폴로지 도메인으로서 CCs(조합적 복합체)를 도입한다.
• 일반화 가능한 CCNN(Combinatorial Complex Neural Networks) 클래스를 개발한다. 이는 컨볼루션, 어텐션, 풀링/언풀링 연산을 포함한다.
• CCNN 프레임워크에서 고차 메시지 전달, 등가성, 풀링을 정의하고 분석한다.
• 메시/그래프 학습 및 메쉬 형태 분석에 대한 실용적 구현과 벤치마크를 제공하여 효과를 입증한다.

제안 방법

• CCs를 계층적 집합형 관계를 갖는 일반 토폴로지 도메인으로 정의한다.
• 푸시-포워드 연산을 기반으로 하는 CCNNs를 개발하여 고차 메시지 전달을 가능하게 한다.
• CC 합성곱(CC), CC 주의력(CC Attention), CC 풀링/언풀링을 텐서 기반 연산으로 공식화한다.
• CCNN의 순열 및 방향성 등가성을 확립하고 CCNN을 하세 그래프(Hasse-graph) 표현과 연관시킨다.
• shape/머신러닝 작업을 위한 소프트웨어 라이브러리(TopoNetX, TopoEmbedX, TopoModelX)와 실험 파이프라인을 제공한다.

실험 결과

연구 질문

• RQ1 CCs(조합적 복합체)가 그래프, 단순 복합체/셀 복합체, 하이퍼그래프에서 학습을 위한 통합 도메인이 될 수 있는가?
• RQ2 푸시-포워드 연산이 CCNN에서 효과적인 고차 메시지 전달을 가능하게 하는가?
• RQ3 CCNN의 등가성(순열, 방향성)은 무엇이며, 이 프레임워크에서 풀링/언풀링 연산은 어떻게 동작하는가?
• RQ4 CCNN이 메쉬 형태 분석 및 그래프 학습 과제에서 최신 모델과 비교해 경쟁력 있는 성능을 보이는가?

주요 결과

• CCNN은 고차 도메인에서 토폴로지 딥러닝의 통합 설계를 제공한다.
• 푸시-포워드 기반 메시지 전달을 갖춘 CCNN은 메쉬 분할/분류 및 그래프 과제에서 경쟁력 있는 성능을 달성한다.
• 고차 관계와 CC 풀링/언풀링은 CC 차원 간 신호를 견고하게 올려주어 장거리 정보 전달을 가능하게 한다.
• 이 프레임워크는 TDA의 매퍼 구성을 연결하고 CC를 해스 그래프로 축소하여 그래프 기반 분석에 활용될 수 있음을 보여준다.