[논문 리뷰] Persformer: A Transformer Architecture for Topological Machine Learning

Raphael Reinauer, Matteo Caorsi외 1명|arXiv (Cornell University)|2021. 12. 30.

Topological and Geometric Data Analysis인용 수 5

한 줄 요약

Persformer는 전통적인 벡터화를 거치지 않고 영구 다이어그램을 직접 처리하도록 특별히 설계된 최초의 트랜스포머 기반 신경망 아키텍처를 소개한다. 이는 합성 및 그래프 벤치마크에서 최고 성능을 기록하며, 보편적 근사 정리(universal approximation theorem)를 만족하고, 위상 기반 기계학습을 위한 첫 번째 해석 가능한 샐런시 맵 방법을 제공한다. 이는 영구 다이어그램의 '작은 바'가 곡률 예측과 같은 작업에서 의미 있는 특징임을 드러낸다.

ABSTRACT

One of the main challenges of Topological Data Analysis (TDA) is to extract features from persistent diagrams directly usable by machine learning algorithms. Indeed, persistence diagrams are intrinsically (multi-)sets of points in $\mathbb{R}^2$ and cannot be seen in a straightforward manner as vectors. In this article, we introduce $ exttt{Persformer}$, the first Transformer neural network architecture that accepts persistence diagrams as input. The $ exttt{Persformer}$ architecture significantly outperforms previous topological neural network architectures on classical synthetic and graph benchmark datasets. Moreover, it satisfies a universal approximation theorem. This allows us to introduce the first interpretability method for topological machine learning, which we explore in two examples.

연구 동기 및 목표

• 영구 다이어그램—R² 내의 순서 없는 다중집합인 점들의 집합—을 수작업으로 벡터화하지 않고 딥러닝 파이프라인에 직접 통합하는 데 도전하는 것.
• 영구 다이어그램의 집합적 성격을 존중하고 점의 순서에 대해 불변인 신경망 아키텍처를 개발하는 것.
• 영구 다이어그램 공간 위의 임의의 연속 함수를 표현할 수 있도록 학습 가능한 아키텍처를 설계하여 위상 기반 데이터 분석을 위한 보편적 근사성을 확보하는 것.
• 영구 다이어그램의 개별 점들이 모델 예측에 기여하는 정도를 정량화하는 새로운 설명 가능성 방법을 도입하여 위상 기반 기계학습의 설명 가능성을 높이는 것.

제안 방법

• 각 점을 토큰으로 간주하고, 상대적 위치를 인코딩하기 위한 학습 가능한 위치 임베딩을 사용하여 영구 다이어그램을 입력으로 처리하는 트랜스포머 아키텍처를 설계한다.
• 다중 헤드 자기주의 메커니즘을 사용하여 영구 다이어그램 내의 위상적 특징(점들) 간의 장거리 의존성을 모델링한다.
• 입력 점의 순서 변경에 대해 불변인 학습 가능한 위치 인코딩을 통합하여 집합 등변성(set-equivariance)을 보장한다.
• 어텐션 레이어 이후에 피드포워드 네트워크 헤드를 적용하여 최종 예측을 생성하고, 엔드 투 엔드 학습을 가능하게 한다.
• 기울기 기반 기여도를 사용한 샐런시 맵 방법을 정의하여 영구 다이어그램 내 각 점이 모델 출력에 기여하는 정도를 정량화한다.
• 분류 작업의 경우 교차 엔트로피, 회귀 작업의 경우 평균 제곱 오차와 같은 표준 딥러닝 목적함수를 사용하여 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 벡터화 전처리 없이 영구 다이어그램을 직접 처리할 수 있는 트랜스포머 기반 아키텍처를 성공적으로 설계할 수 있는가?
• RQ2 해당 아키텍처가 표준 위상 기반 기계학습 벤치마크에서 최고 성능을 기록하는가?
• RQ3 영구 다이어그램 위에서 직접 작동하는 신경망 아키텍처에 대해 보편적 근사 정리를 확립할 수 있는가?
• RQ4 샐런시 맵과 같은 설명 가능성 방법을 위상 기반 기계학습에 의미 있게 적응시킬 수 있으며, 이는 위상적 특징의 중요성에 대해 어떤 통찰을 제공하는가?
• RQ5 영구 다이어그램의 '작은 바'는 단지 노이즈일 뿐인가, 아니면 곡률 추정과 같은 작업에서 의미 있는 예측 정보를 담고 있는가?

주요 결과

• Persformer는 표준 벤치마크 데이터셋에서 PersLay보다 3.5% 높은 테스트 정확도, PLLAy보다 4.0% 높은 테스트 정확도를 기록하여 뛰어난 성능을 입증한다.
• 곡률 예측 작업에서 Persformer는 R² 점수 0.94를 기록하여 이전 최고 성능 모델(SVM, R² = 0.78)을 크게 앞서며 뛰어난 성능을 보였다.
• 샐런시 맵 분석 결과, 이전에는 노이즈로 간주되었던 '작은 바'가 분류 및 회귀 작업, 특히 곡률 추정에서 매우 중요한 역할을 한다는 것이 드러났다.
• 샐런시 맵 점수는 영구 다이어그램에서 대각선으로부터의 거리가 증가할수록 감소하는 경향을 보이며, 이는 짧은 수명을 가진 특징(대각선 근처)이 예측에 가장 영향을 미친다는 것을 시사한다.
• 샐런시 맵 방법은 효과적인 특징 선택을 가능하게 하여 성능 저하 없이 데이터 차원을 감소시켰으며, 이는 모델 압축과 설명 가능성에 유용함을 시사한다.
• Persformer는 위상 기반 딥러닝 모델 중에서 보편적 근사 정리를 증명한 최초의 모델로, 그 표현력에 대한 이론적 기반을 확립했다.