[논문 리뷰] Architectures of Topological Deep Learning: A Survey of Message-Passing Topological Neural Networks

Mathilde Papillon, Sophia Sanborn외 2명|arXiv (Cornell University)|2023. 04. 20.

Gene Regulatory Network Analysis인용 수 15

한 줄 요약

토폴로지 딥 러닝(TDL)을 소개하고 하이퍼그래프, 심플리셜 및 셀룰러 복합체 등 다양한 도메인에 걸친 메시지 전달 토폴로지 신경망(TNN)을 포괄적으로 통합하는 포괄적 연구. 일관된 표기법, 그래픽 텐서 다이어그램, 도전 과제와 기회에 대한 논의가 제공됩니다.

ABSTRACT

The natural world is full of complex systems characterized by intricate relations between their components: from social interactions between individuals in a social network to electrostatic interactions between atoms in a protein. Topological Deep Learning (TDL) provides a comprehensive framework to process and extract knowledge from data associated with these systems, such as predicting the social community to which an individual belongs or predicting whether a protein can be a reasonable target for drug development. TDL has demonstrated theoretical and practical advantages that hold the promise of breaking ground in the applied sciences and beyond. However, the rapid growth of the TDL literature for relational systems has also led to a lack of unification in notation and language across message-passing Topological Neural Network (TNN) architectures. This presents a real obstacle for building upon existing works and for deploying message-passing TNNs to new real-world problems. To address this issue, we provide an accessible introduction to TDL for relational systems, and compare the recently published message-passing TNNs using a unified mathematical and graphical notation. Through an intuitive and critical review of the emerging field of TDL, we extract valuable insights into current challenges and exciting opportunities for future development.

연구 동기 및 목표

• 관계 시스템을 위한 토폴로지 딥 러닝(TDL)에 대한 접근 가능한 소개를 제공합니다.
• 공개된 메시지 전달 토폴로지 신경망(TNNs)을 공통 수학적 및 그래픽 표기법으로 통일하고 비교합니다.
• TNN의 아키텍처, 응용 및 실용적 고려사항을 분석합니다.
• TDL의 향후 개발에 대한 현재의 도전과 기회 식별합니다.

제안 방법

• 이산 도메인(그래프, 하이퍼그래프, 심플리셜 복합체, 셀룰러 복합체, 조합 복합체) 및 그들의 랭크와 셀에 대한 데이터를 제시합니다.
• 경계 관계와 인시던스 행렬을 정의하여 이웃 구조를 인코딩합니다.
• 메시지, 이웃 내 집계, 이웃 간 집계, 업데이트의 네 단계로 메시지 전달을 분해하고 계층 간 특징 업데이트 방법을 설명합니다.
• 텐서 다이어그램을 사용하여 메시지 전달 스킴을 시각적으로 표현하고 아키텍처를 비교합니다.
• 도메인 및 메시지 전달 유형별로 TNN 아키텍처를 분류하고 그 표기법에서 통일된 방정식을 제시합니다.

Figure 1: Topological Neural Network : Data associated with a complex system are features defined on a data domain , which is preprocessed into a computational domain that encodes interactions between the system’s components with neighborhoods . The TNN’s layers use message passing to successively u

실험 결과

연구 질문

• RQ1 다양한 토폴로지 도메인에서 메시지 전달의 공통 아키텍처는 무엇인가요?
• RQ2 통합 표기법이 하이퍼그래프, 심플리셜 복합체, 셀룰러 복합체, 조합 복합체를 TNN에서 비교하는 데 어떻게 도움이 될 수 있는가요?
• RQ3 다양한 관계 데이터 작업에 대한 TNN의 주요 강점과 한계는 무엇인가요?
• RQ4 남아 있는 도전 과제와 향후 개발의 기회는 무엇인가요?

주요 결과

• 토폴로지 딥 러닝은 그래프를 넘어 하이퍼그래프, 심플리셜 및 셀룰러 복합체 등 도메인으로 확장되어 고차 관계의 더 풍부한 모델링을 가능하게 한다.
• 일관된 4단계 메시지 전달 프레임워크(메시지, 이웃 내 집계, 이웃 간 집계, 업데이트)는 도메인 간 TNN 아키텍처를 체계적으로 비교할 수 있도록 한다.
• 텐서 다이어그램은 토폴로지 도메인과 층을 통해 메시지가 어떻게 전달되는지 그래픽적이고 직관적으로 표현한다.
• TNN 아키텍처는 도메인별 및 표준, 어텐션, 일반 메시지 전달 여부에 따라 다르며, 모델당 여러 이웃 구조를 사용한다.
• 학습 중 토폴로지 구조를 보존하는 것이 대개 표현력과 성능을 높이는 경향이 있지만 도메인별 한계와 실용적 고려사항은 남아 있다.

Figure 2: Domains: Nodes in blue, (hyper)edges in pink, and faces in dark red. Figure adapted from [ 11 ] .