[논문 리뷰] Position: Topological Deep Learning is the New Frontier for Relational Learning

Theodore Papamarkou, Tolga Birdal외 20명|arXiv (Cornell University)|2024. 02. 14.

Image Retrieval and Classification Techniques인용 수 5

한 줄 요약

이 입장 논문은 Topological Deep Learning(TDL)이 그래프 표현과 기하학적 딥러닝을 보완할 수 있다고 주장하고, 주요 개방 문제를 개략적으로 제시하며, 응용, 데이터셋, 벤치마크, 소프트웨어, 이론, 공정성에 걸친 연구 방향을 제안한다.

ABSTRACT

Topological deep learning (TDL) is a rapidly evolving field that uses topological features to understand and design deep learning models. This paper posits that TDL is the new frontier for relational learning. TDL may complement graph representation learning and geometric deep learning by incorporating topological concepts, and can thus provide a natural choice for various machine learning settings. To this end, this paper discusses open problems in TDL, ranging from practical benefits to theoretical foundations. For each problem, it outlines potential solutions and future research opportunities. At the same time, this paper serves as an invitation to the scientific community to actively participate in TDL research to unlock the potential of this emerging field.

연구 동기 및 목표

• GRL과 GDL의 보완적 패러다임으로서 Topological Deep Learning을 고무한다.
• 고차원/위상 구조가 유익한 구체적인 응용 분야와 데이터 모달리티를 식별한다.
• TDL를 발전시키기 위해 필요한 필수 소프트웨어, 데이터셋 및 벤치마크를 개요로 제시한다.
• TDL의 이론적 기초, 복잡도, 확장성, 그리고 설명가능성 측면에 대해 논의한다.
• TDL을 개념에서 널리 사용 가능한 기술로 끌어올리기 위한 연구 방향을 제안한다.

제안 방법

• 다양한 범주에 걸친 TDL의 개방적 문제와 향후 연구 방향을 조사한다.
• 위상 구조가 자연스럽게 나타나는 응용 도메인을 분류한다(예: 분자, 단백질, 형상, 고차 데이터).
• TDL에 맞춤화된 고차 데이터셋, 벤치마크, 그리고 소프트웨어 도구의 필요성을 강조한다.
• TDL 아키텍처의 복잡도, 확장성 및 하드웨어 고려사항에 대해 논의한다.
• shaf 이론, 지속적 동형성, 그리고 위상 도메인에서의 트랜스포머 유사체 가능성 등을 포함한 이론적/표현 프레임워크를 탐구한다.

실험 결과

연구 질문

• RQ1 고차원/위상 구조가 기존 그래프 신경망 및 기하학적 딥러닝 방법에 비해 어떤 구체적인 실증적 이점을 제공하는가?
• RQ2 TDL의 표준화된 평가를 확립하고 개발을 가속하기 위해 필요한 데이터셋, 벤치마크, 소프트웨어는 무엇인가?
• RQ3 TDL의 실용적 채택을 돕기 위해 복잡도, 확장성 및 자원 요구 사항을 어떻게 형식화할 수 있는가?
• RQ4 TDL의 이점을 정당화하고 이해하기 위해 필요한 이론적 기초(예: 표현력, 일반화, 공정성)는 무엇인가?
• RQ5 고차 도메인을 위한 위상 표현과 트랜스포머 유사한 아키텍처를 어떻게 개발할 수 있는가?

주요 결과

• TDL은 GRL/GDL로 쉽게 표현되지 않는 고차 관계 및 위상 불변성을 포착할 잠재력을 가진다.
• TDL 연구 및 비교를 촉진하기 위해 고차 데이터, 벤치마크 및 표준화된 데이터세트의 필요성이 있다.
• TDL용 소프트웨어 인프라가 미개발되어 왔으며, 더 많은 오픈 소스 도구와 커뮤니티 지원이 필요하다.
• 복잡도와 확장성은 상당한 도전과제를 제기하며, 형식적인 비용-편익 분석과 교차 도메인 확장성은 여전히 남아 있는 문제이다.
• TDL의 설명가능성, 일반화, 공정성은 아직 탐구가 더 필요하며, 더 넓은 AI 안전성과 신뢰성에 영향을 미칠 잠재력이 있다.
• 위상 도메인에서의 트랜스포머 및 생성 모델링은 초기 단계여서 위상 지식이 있는 아키텍처에 대한 향후 연구를 시사한다.