[논문 리뷰] PersLay: A Neural Network Layer for Persistence Diagrams and New Graph Topological Signatures

Mathieu Carrière, Frédéric Chazal외 4명|arXiv (Cornell University)|2019. 04. 20.

Topological and Geometric Data Analysis참고 문헌 41인용 수 75

한 줄 요약

PersLay은 그래프에서 파생된 지속성 다이어그램의 벡터화를 학습하기 위한 차분 가능한 신경망 계층을 도입하여 엔드 투 엔드 그래프 분류를 가능하게 하며 경쟁력 있는 성능과 확장 가능한 성능을 제공한다.

ABSTRACT

Persistence diagrams, the most common descriptors of Topological Data Analysis, encode topological properties of data and have already proved pivotal in many different applications of data science. However, since the (metric) space of persistence diagrams is not Hilbert, they end up being difficult inputs for most Machine Learning techniques. To address this concern, several vectorization methods have been put forward that embed persistence diagrams into either finite-dimensional Euclidean space or (implicit) infinite dimensional Hilbert space with kernels. In this work, we focus on persistence diagrams built on top of graphs. Relying on extended persistence theory and the so-called heat kernel signature, we show how graphs can be encoded by (extended) persistence diagrams in a provably stable way. We then propose a general and versatile framework for learning vectorizations of persistence diagrams, which encompasses most of the vectorization techniques used in the literature. We finally showcase the experimental strength of our setup by achieving competitive scores on classification tasks on real-life graph datasets.

연구 동기 및 목표

• 그래프에서 Heat Kernel Signatures (HKS)로 구성된 확장 지속성 다이어그램을 도입하고 그 안정성을 증명한다.
• 순열 불변 프레임워크 내에서 지속성 다이어그램의 벡터화를 학습하는 신경망 계층 PersLay를 개발한다.
• PersLay가 일반적인 다이어그램 벡터화를 일반화하고 엔드-투-엔드 학습을 위한 미분 가능함을 보인다.
• 합성 동역학 시스템 데이터셋과 실제 그래프 데이터셋에서 확장성과 경쟁력 있는 성능을 입증한다.

제안 방법

• PersLay를 순열 불변 계층으로 정의한다: PersLay(Dg) = op({w(p) * phi(p) for p in Dg}).
• 다음의 세 점 변환 함수 phi를 제공한다: 삼각형 (Lambda), 가우시안 (Gamma), 직선 (L)으로 다이어그램 점을 특징 벡터로 매핑한다.
• PersLay를 기존의 벡터화(landscapes, silhouettes, surfaces, kernels)와 특수 사례로 연결한다.
• 학습 가능한 가중치 함수 w와 표현 phi를 허용하여 역전파를 통한 연속 학습을 가능하게 한다.
• PersLay와 함께 사용되는 지속성 다이어그램이 다이어그램 거리 dB와 매개변수 t(확산 매개변수)에 대해 안정적임을 입증한다.
• 간단한 그래프 분류기(두 층 네트워크)에 PersLay를 통합하고 표준 그래프 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 그래프에서 도출된 지속성 다이어그램을 어떻게 효과적으로 학습 가능한 신경망에 통합할 수 있을까?
• RQ2 단일 차분 가능한 계층(PersLay)이 기존의 지속성 다이어그램 벡터화를 일반화하고 복구할 수 있는가?
• RQ3 Heat Kernel Signatures로부터 구축된 확장 지속성 다이어그램이 그래프 분류 작업에서 안정적이고 효과적인가?
• RQ4 대규모 그래프 데이터셋에서 PersLay의 성능은 커널 방법 및 표준 그래프 신경망에 비해 어떤가?

주요 결과

• PersLay는 다양한 그래프 분류 벤치마크에서 경쟁력 있는 정확도를 달성하며 종종 최첨단 방법과 대등한 성능을 보인다.
• ORBIT5K 및 ORBIT100K 동역학 시스템 데이터셋에서 PersLay는 여러 커널 기반 방법을 능가하고 매우 큰 데이터셋(ORBIT100K)까지 확장된다.
• 이 프레임워크는 일반 벡터화를 특수 사례로 포함하고 있어 그래프의 위상 특징을 유연하게 학습할 수 있다.
• Heat Kernel Signatures를 기반으로 한 확장 지속성 다이어그램은 그래프 교란 및 확산 매개변수 t에 대해 안정적이다.
• PersLay를 사용하는 간단한 두 계층 아키텍처가 복잡한 그래프 신경망을 필요로 하지 않고도 높은 성과를 낼 수 있다.