[논문 리뷰] Riemannian Manifold Kernel for Persistence Diagrams

Tam Le, Makoto Yamada|arXiv (Cornell University)|2018. 02. 10.

Topological and Geometric Data Analysis참고 문헌 43인용 수 4

한 줄 요약

이 논문은 페르소나 다이어그램에 대한 리만 다양체 커널을 제안하며, 페르소나 거리의 기하학적 거리 측정을 정의하기 위해 피셔 정보 계량을 활용한다. 이를 통해 양의 정부호 커널을 구성할 수 있으며, 기존의 워셔스타인 기반 커널에 비해 일반화 성능과 계산 효율성을 향상시킨다. 다양한 벤치마크 작업에서 최신 기술 성능을 입증한다.

ABSTRACT

Algebraic topology methods have recently played an important role for statistical analysis with complicated geometric structured data. Among them, persistent homology is a well-known tool to extract robust topological features, and outputs as persistence diagrams. Unfortunately, persistence diagrams are point multi-sets which can not be used in machine learning algorithms for vector data. To deal with it, an emerged approach is to use kernel methods. Besides that, geometry for persistence diagrams is also an important factor. A popular geometry for persistence diagrams is the Wasserstein metric. However, Wasserstein distance is not negative definite. Thus, it is limited to build positive definite kernels upon the Wasserstein distance without approximation. In this work, we explore an alternative Riemannian manifold geometry, namely the Fisher information metric. By building upon the geodesic distance on the Riemannian manifold, we propose a positive definite kernel, namely Riemannian manifold kernel. Then, we analyze eigensystem of the integral operator induced by the proposed kernel for kernel machines. Based on that, we conduct generalization error bounds via covering numbers and Rademacher averages for kernel machines using the Riemannian manifold kernel. Additionally, we also show some nice properties for the proposed kernel such as stability, infinite divisibility and comparative time complexity with other kernels for persistence diagrams in term of computation. Throughout experiments with many different tasks on various benchmark datasets, we illustrate that the Riemannian manifold kernel improves performances of other baseline kernels.

연구 동기 및 목표

• 페르소나 다이어그램에 대한 워셔스타인 거리가 양의 정부호 커널을 형성하는 데 한계가 있음을 해결하기 위해.
• 양의 정부호 커널 구성이 가능한 리만 다양체 기반 기하학적 프레임워크를 개발하기 위해.
• 커널의 이론적 성질을 분석하기 위해, 커버링 수와 라데마처 평균을 통한 일반화 오차 경계를 포함한다.
• 다양한 기계학습 작업에서 표준 벤치마크 데이터셋을 대상으로 커널의 성능을 실증적으로 평가하기 위해.
• 기존의 페르소나 다이어그램을 위한 커널 방법에 비해 계산적 우수성을 확립하기 위해.

제안 방법

• 논문은 페르소나 다이어그램을 리만 다양체 위의 점으로 모델링하며, 피셔 정보 계량을 사용해 기하학적 거리(지오데식 거리)를 정의한다.
• 리만 다양체 기하학에서 유도된 지오데식 거리를 기반으로 양의 정부호 커널을 구성한다.
• 커널에 의해 유도되는 적분 연산자를 분석하여, 커버링 수와 라데마처 평균을 사용해 일반화 오차 경계를 유도한다.
• 제안된 커널에 대해 안정성 및 무한 나누기 가능성 등의 이론적 성질을 증명한다.
• 다양한 기계학습 작업을 통해 여러 표준 벤치마크 데이터셋에서 성능과 계산 복잡도를 비교 평가한다.
• 커널의 시간 복잡도를 분석하고, 다른 최신 기술 커널들과 비교한다.

실험 결과

연구 질문

• RQ1 피셔 정보 계량을 기반으로 한 리만 다양체 기하학이 페르소나 다이어그램에 대해 양의 정부호 커널을 도출할 수 있는가?
• RQ2 제안된 커널을 사용한 커널 기반 기계학습 모델의 일반화 오차는 기존 방법과 비교해 어떻게 되는가?
• RQ3 기존 커널들에 비해 리만 다양체 커널은 시간 복잡도 측면에서 어떤 계산적 우수성을 가지는가?
• RQ4 제안된 커널은 안정성 및 무한 나누기 가능성과 같은 바람직한 이론적 성질을 갖는가?
• RQ5 표준 벤치마크 데이터셋에서 다양한 기계학습 작업에서 리만 다양체 커널은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 리만 다양체 커널은 여러 표준 벤치마크 데이터셋과 기계학습 작업에서 최신 기술 성능을 달성한다.
• 커널이 양의 정부호임이 증명되었으며, 안정성과 무한 나누기 가능성까지 확보되어 이론적 견고성을 확보한다.
• 커버링 수와 라데마처 평균을 사용해 일반화 오차 경계가 확립되어 이론적 신뢰성을 뒷받침한다.
• 기존의 페르소나 다이어그램 커널들에 비해 뛰어난 계산 효율성을 보여준다.
• 다양한 위상적 데이터 분석 작업에서 예측 정확도와 일반화 성능 측면에서 베이스라인 방법을 초월한다.
• 피셔 정보 계량의 사용은 비음수 정부호가 아닌 워셔스타인 거리의 한계를 극복하는 기하학적 프레임워크를 가능하게 한다.