[논문 리뷰] Fuzzy c-Means Clustering for Persistence Diagrams

Thomas Davies, Jack Aspinall외 2명|arXiv (Cornell University)|2020. 06. 04.

Topological and Geometric Data Analysis참고 문헌 68인용 수 5

한 줄 요약

이 논문은 지속 다이어그램에 대한 퍼지 c-클러스터링을 제안하며, 지속 다이어그램 공간 내의 거리 구조를 활용하여 FCM 알고리즘을 위상적 데이터 분석으로 확장한다. 수렴 보장을 제공하며, 위상적으로 유사한 데이터의 클러스터링 성능이 뛰어나며, 사전 훈련된 모델 선택 및 재료 과학 분야의 격자 구조 분류에 확률적 소속도 값을 활용하여 적용 가능하다.

ABSTRACT

Persistence diagrams concisely represent the topology of a point cloud whilst having strong theoretical guarantees, but the question of how to best integrate this information into machine learning workflows remains open. In this paper we extend the ubiquitous Fuzzy c-Means (FCM) clustering algorithm to the space of persistence diagrams, enabling unsupervised learning that automatically captures the topological structure of data without the topological prior knowledge or additional processing of persistence diagrams that many other techniques require. We give theoretical convergence guarantees that correspond to the Euclidean case, and empirically demonstrate the capability of our algorithm to capture topological information via the fuzzy RAND index. We end with experiments on two datasets that utilise both the topological and fuzzy nature of our algorithm: pre-trained model selection in machine learning and lattices structures from materials science. As pre-trained models can perform well on multiple tasks, selecting the best model is a naturally fuzzy problem; we show that fuzzy clustering persistence diagrams allows for model selection using the topology of decision boundaries. In materials science, we classify transformed lattice structure datasets for the first time, whilst the probabilistic membership values let us rank candidate lattices in a scenario where further investigation requires expensive laboratory time and expertise.

연구 동기 및 목표

• 힐버트 공간 임bedding이나 위상적 사전 지식이 필요하지 않은 채로 지속 다이어그램—데이터의 위상적 요약—을 기계 학습 워크플로우에 통합하는 데 도전하는 것.
• 퍼지(부드러운) 클러스터 소속도와 데이터의 내재된 위상적 구조를 동시에 포괄하는 비지도 학습을 가능하게 하는 것.
• 유클리드 공간과 유사하게, 비힐베르트 공간인 지속 다이어그램의 공간에서 퍼지 c-클러스터링에 대한 이론적 수렴 보장을 제공하는 것.
• 두 분야에서의 실용적 유용성을 입증하는 것: 결정 경계의 위상적 특성에 기반해 사전 훈련된 딥 러닝 모델을 선택하고, 기하학적 대칭성에 대해 불변인 변환된 격자 구조를 분류하는 것.
• 재료 과학에서 실험 검증에 드는 비용을 줄이기 위해 확률적 소속도 값을 활용해 후보 격자를 효율적으로 랭킹할 수 있도록 하는 것.

제안 방법

• 지속 다이어그램 공간에 FCM 알고리즘을 확장하기 위해 위상적 데이터 분석과 호환되는 거리 함수를 사용한다.
• 클러스터 중심 갱신 규칙으로 프레셰 평균을 사용하며, 이를 지속 다이어그램의 거리 공간에 적응시킨다.
• 모든 수렴하는 부분수열이 국소 최솟값 또는 안장점으로 수렴함을 보여주는 수렴 분석을 적용하며, 이는 표준 FCM 수렴과 유사하다.
• 다양한 지속 다이어그램 거리(예: 워샤프트, 볼록)를 사용하여 퍼지 랜드 지수를 통해 클러스터링 품질을 평가한다.
• 확률적 소속도 값을 활용해 클러스터 할당을 랭킹하며, 특히 재료 과학에서 후보 격자를 우선순위 정렬하는 데 유용하다.
• 두 가지 실제 응용에 알고리즘을 통합한다: 결정 경계의 위상적 특성에 따라 사전 훈련된 모델을 클러스터링하고, 기하학적 대칭성에 대해 불변인 변환된 격자 구조를 분류하는 것.

실험 결과

연구 질문

• RQ1 퍼지 c-클러스터링 알고리즘이 이론적 수렴 보장을 유지하면서도 지속 다이어그램 공간으로 성공적으로 확장될 수 있는가?
• RQ2 퍼지 소속도를 사용할 때 지속 다이어그램 상의 거리 메트릭 선택이 클러스터링 품질에 어떤 영향을 미치는가?
• RQ3 지속 다이어그램의 퍼지 클러스터링이 재료 과학의 격자나 딥 러닝 모델의 결정 경계와 같은 실제 데이터 세트에서 위상적 유사성을 효과적으로 포착할 수 있는가?
• RQ4 퍼지 클러스터링에서 높은 소속도 값은 기계 학습 작업에서 더 나은 일반화 성능과 관련이 있는가?
• RQ5 격자 구조를 클러스터링할 때 기하학적 변환(회전, 반사, 이동)에 대해 알고리즘이 불변성을 유지할 수 있는가?

주요 결과

• 제안된 지속 다이어그램을 위한 퍼지 c-클러스터링은 테스트된 825개의 무작위 인스턴스 전부에서 수렴을 달성하여 이론적 수렴 보장을 뒷받침한다.
• 퍼지 랜드 지수로 측정한 클러스터링 품질은 계산 비용이 더 높은 거리 메트릭(예: 정확한 워샤프트)일수록 향상되고, 근사화될수록 열악해지며, 이는 거리의 정밀도에 민감한 메서드임을 확인한다.
• 변환된 격자 구조 데이터셋에서 FPDCluster는 소속도 할당에 있어 100% 정확도로 데이터를 클러스터링했으며, 기하학적 대칭성 불변성이 결여된 기하학적 클러스터링 방법은 실패했다.
• 사전 훈련된 모델 선택에서, 결정 경계 위상에 기반해 같은 클러스터에 속한 모델일수록 더 나은 일반화 성능를 보이며, 위상적 구조와 모델 성능 간의 직접적인 연관성을 입증한다.
• 확률적 소속도 값은 후보 격자를 효과적으로 랭킹할 수 있게 하여 재료 과학에서 가장 가능성 높은 후보를 우선순위 정렬할 수 있도록 하며, 실험적 검증에 드는 비용을 줄인다.
• 비변환, 회전, 반사, 이동된 격자 전부에 대해 FPDCluster는 정확한 클러스터 할당을 유지했지만, ADMM 및 LP와 같은 기준 방법은 기하학적 변환에서 실패했다.