[논문 리뷰] Persistence Fisher Kernel: A Riemannian Manifold Kernel for Persistence Diagrams

Tam Le, Makoto Yamada|arXiv (Cornell University)|2018. 02. 10.

Topological and Geometric Data Analysis인용 수 51

한 줄 요약

본 논문은 Persistence Fisher (PF) 커널을 persistence diagrams에 대해 제시하며, Fisher 정보 기하학을 기반으로 하고 이론적 보장과 경쟁력 있는 실험 성능을 갖춘 양의 정의, 비근사적 커널을 제공합니다.

ABSTRACT

Algebraic topology methods have recently played an important role for statistical analysis with complicated geometric structured data such as shapes, linked twist maps, and material data. Among them, extit{persistent homology} is a well-known tool to extract robust topological features, and outputs as extit{persistence diagrams} (PDs). However, PDs are point multi-sets which can not be used in machine learning algorithms for vector data. To deal with it, an emerged approach is to use kernel methods, and an appropriate geometry for PDs is an important factor to measure the similarity of PDs. A popular geometry for PDs is the extit{Wasserstein metric}. However, Wasserstein distance is not extit{negative definite}. Thus, it is limited to build positive definite kernels upon the Wasserstein distance extit{without approximation}. In this work, we rely upon the alternative extit{Fisher information geometry} to propose a positive definite kernel for PDs extit{without approximation}, namely the Persistence Fisher (PF) kernel. Then, we analyze eigensystem of the integral operator induced by the proposed kernel for kernel machines. Based on that, we derive generalization error bounds via covering numbers and Rademacher averages for kernel machines with the PF kernel. Additionally, we show some nice properties such as stability and infinite divisibility for the proposed kernel. Furthermore, we also propose a linear time complexity over the number of points in PDs for an approximation of our proposed kernel with a bounded error. Throughout experiments with many different tasks on various benchmark datasets, we illustrate that the PF kernel compares favorably with other baseline kernels for PDs.

연구 동기 및 목표

• PDs의 기하를 존중하는 커널을 통해 지속성 다이어그램의 강건한 통계 분석을 촉진한다.
• 근사 없이 Fisher 정보 거리에서 직접 계산된 양의 정의 PF 커널을 제안한다.
• 고유구조, 일반화 경계, 안정성 특성을 포함한 이론적 보장을 확립한다.
• 기저 Baselines 대비 다수의 PD 기반 학습 작업에서 PF의 경험적 성능을 입증한다.

제안 방법

• 각 PD를 가우시안 스무딩을 통해 유한 집합에서 매끄럽고 정규화된 측도로 표현한다.
• 두 PD 사이의 Fisher 정보 거리를 스무딩된 측도와 확률 단순체를 이용해 정의한다.
• PF 커널은 k_PF(Dg_i, Dg_j) = exp(-t d_FIM(Dg_i, Dg_j)) with t > 0로 구성되고, d_FIM이 이동에 따라 음의 정의적임(음의 definite)으로 한 이동까지 보임을 보인다.
• k_PF에 의해 유도된 적분 연산자의 고유구조를 분석하여 커버링 수(covering-number) 및 Rademacher 평균 일반화 경계를 도출한다.
• 오차를 구속된 상태로 유지하면서 비용을 줄이기 위해 Fast Gauss Transform을 이용한 선형 시간 근사를 제안한다.
• PF 커널의 무한 분할 가능성을 보이고 기본 Fisher 정보 기하학에 대한 안정성도 논의한다.

실험 결과

연구 질문

• RQ1 지속성 다이어그램에 대한 기하를 고려한, underlying metric을 근사하지 않고도 양의 정의 커널을 정의하는 방법은 무엇인가?
• RQ2 Fisher 정보 거리 기반의 PD 커널의 이론적 특성(고유구조, 일반화 경계, 안정성)은 무엇인가?
• RQ3 PF 커널은 분류 및 변화점 탐색 작업에서 기존의 PD 커널에 비해 실험적으로 어떤 성능을 보이는가?

주요 결과

• PF 커널은 근사 없이 Fisher 정보 거리로부터 직접적으로 양의 정의 커널이다.
• PF의 적분 연산자 고유구조는 R에 대한 음이 아닌 Legendre 급전 계수를 허용하여 커널 학습 경계를 가능하게 한다.
• PF 커널은 벤치마크에서 기준 PD 커널에 비해 경쟁적이거나 우수한 성능을 달성한다(예: MPEG7 및 Orbit 데이터셋).
• PF 기반 SVM 결과: MPEG7 정확도 80.00 ± 4.08; Orbit 정확도 85.87 ± 0.77, PSS, PWG, SW 베이스라인을 능가한다.
• PF 커널은 Fast Gauss Transform를 통한 선형 시간 근사를 허용하며 무한 분할 가능성이 있으며 안정성 측면에서도 우수한 특성을 가진다.