[논문 리뷰] Optimizing persistent homology based functions

Mathieu Carrière, Frédéric Chazal외 3명|arXiv (Cornell University)|2020. 10. 16.

Topological and Geometric Data Analysis참고 문헌 38인용 수 16

한 줄 요약

이 논문은 실해석기하학을 활용하여 확률적 하향기울기 방법의 이론적 수렴 보장을 보장하는 일반적이고 미분 가능한 프레임워크를 소개한다. 이 프레임워크는 다양한 기계학습 응용 분야에서 위상적 손실 함수를 효율적이고 기울기 기반으로 최적화할 수 있도록 하며, 최소한의 구현 오버헤드를 제공한다.

ABSTRACT

Solving optimization tasks based on functions and losses with a topological flavor is a very active, growing field of research in data science and Topological Data Analysis, with applications in non-convex optimization, statistics and machine learning. However, the approaches proposed in the literature are usually anchored to a specific application and/or topological construction, and do not come with theoretical guarantees. To address this issue, we study the differentiability of a general map associated with the most common topological construction, that is, the persistence map. Building on real analytic geometry arguments, we propose a general framework that allows us to define and compute gradients for persistence-based functions in a very simple way. We also provide a simple, explicit and sufficient condition for convergence of stochastic subgradient methods for such functions. This result encompasses all the constructions and applications of topological optimization in the literature. Finally, we provide associated code, that is easy to handle and to mix with other non-topological methods and constraints, as well as some experiments showcasing the versatility of our approach.

연구 동기 및 목표

• 비볼록이고 비미분 가능한 지속 기반 함수에 대한 기존 위상 최적화 방법에서 이론적 수렴 보장이 부족한 문제를 해결하기 위해.
• 기계학습 분야의 다양한 위상 최적화 접근법을 실해석기하학에 기반한 단일 미분 가능한 프레임워크로 통합하기 위해.
• 자동 미분 기능을 갖춘 표준 딥러닝 라이브러리와의 호환성을 통해 위상 함수의 실용적이고 확장 가능한 최적화를 가능하게 하기 위해.
• 비위상 최적화 파ip라인과 원활하게 통합되는 일반 목적의 구현을 제공하기 위해.

제안 방법

• 파라미터화된 필터링에서 지속 다이어그램으로의 지속 맵을 반대칭 다항 함수로 표현하여, o-최소 기하학을 통한 미분 가능성 분석을 가능하게 한다.
• 지속 맵이 반대칭 다항 함수임을 증명하고, 약한 조건 하에서 잘 정의된 미분 가능성 성질을 가짐을 보여준다.
• 최근의 [DDKL20] 결과를 응용하여 일반적인 지속 기반 함수에 대해 확률적 하향기울기 경사 하강법이 거의 확실히 임계점으로 수렴함을 증명한다.
• 이优化에서 워싱턴 거리의 계산 비용을 줄이기 위해 슬라이스드 워싱턴 거리를 사용하여 이론적 보장을 유지하면서도 계산 효율성을 확보한다.
• 엔드 투 엔드 위상 함수 최적화를 위한 경량의, 파이토치/텐서플로우 호환 파이썬 라이브러리를 구현한다.
• 지속 다이어그램과 위상적 특징을 통해 기울기가 역전파되도록 하여 표준 기계학습 파이프라인과 프레임워크를 통합한다.

실험 결과

연구 질문

• RQ1 일반적인 지속 기반 함수의 광범위한 클래스에 대해 최적화 알고리즘의 수렴을 보장할 수 있는 일반적 프레임워크를 개발할 수 있는가?
• RQ2 지속 다이어그램의 비미분성 문제는 어떻게 극복하여 기계학습에서 기울기 기반 최적화를 가능하게 할 수 있는가?
• RQ3 위상 함수에 대해 확률적 하향기울기 방법이 임계점으로 수렴하기 위한 조건은 무엇인가?
• RQ4 이 프레임워크는 계산적으로 효율적이며 기존 딥러닝 라이브러리와 호환 가능한가?
• RQ5 필터 함수 최적화가 위상 기반 기계학습 작업의 최종 성능에 얼마나 기여하는가?

주요 결과

• 지속 맵은 반대칭 다항 함수이므로 엄밀한 미분 가능성 분석과 최적화에 대한 이론적 수렴 보장을 가능하게 한다.
• 일반적인 지속 기반 함수에 대해 확률적 하향기울기 경사 하강법이 약한 가정 하에 거의 확실히 임계점으로 수렴함을 입증하였다.
• 제안된 프레임워크를 사용한 필터 최적화는 MNIST에서 분류 정확도를 향상시키며, 무작위 초기화 대비 최대 +11.5个百分点(예: vs79)의 성능 향상을 보였다.
• 슬라이스드 워싱턴 거리는 행렬 기반 연산을 통해 효율적인 최적화를 가능하게 하여 계산 시간을 크게 감소시키면서도 이론적 타당성을 유지한다.
• MNIST의 45개의 이진 숫자 분류 작업 전반에서 이 프레임워크는 일관되게 성능 향상을 보였으며, 오직 한 가지 경우를 제외하고는 전부 개선되었다.
• 오픈소스 구현은 표준 기계학습 워크플로우와 원활하게 통합되며, 위상 정규화 요소를 포함한 엔드 투 엔드 학습을 가능하게 한다.