[논문 리뷰] Optimal quantization of the mean measure and applications to statistical learning

Frédéric Chazal, Clément Levrard외 1명|arXiv (Cornell University)|2020. 02. 04.

Topological and Geometric Data Analysis인용 수 4

한 줄 요약

이 논문은 i.i.d. 이산 측도(예: 지속성 다이어그램 또는 점 과정 등)의 평균 측도에 대한 최적의 양자화를 배치 및 미니배치 알고리즘을 통해 제안하며, 거의 최소최대 최적 수렴 속도를 달성한다. 이는 양자화된 중심점 기반의 R^k로의 벡터화 맵을 도입함으로써 혼합 모델에서 측도의 증명 가능하게 효과적인 군집화를 가능하게 하며, 위상적 데이터 분석 및 분류 작업에서 이론적 보장과 실증적 검증을 동시에 확보한다.

ABSTRACT

This paper addresses the case where data come as point sets, or more generally as discrete measures. Our motivation is twofold: first we intend to approximate with a compactly supported measure the mean of the measure generating process, that coincides with the intensity measure in the point process framework, or with the expected persistence diagram in the framework of persistence-based topological data analysis. To this aim we provide two algorithms that we prove almost minimax optimal. Second we build from the estimator of the mean measure a vectorization map, that sends every measure into a finite-dimensional Euclidean space, and investigate its properties through a clustering-oriented lens. In a nutshell, we show that in a mixture of measure generating process, our technique yields a representation in $\\mathbb{R}^k$, for $k \\in \\mathbb{N}^*$ that guarantees a good clustering of the data points with high probability. Interestingly, our results apply in the framework of persistence-based shape classification via the ATOL procedure described in \\cite{Royer19}.

연구 동기 및 목표

• 이산 측도(예: 지속성 다이어그램, 점 패턴 등)로 표현된 데이터의 군집화 문제를 해결한다. 이는 스칼라 또는 벡터 데이터가 아닌 측도 데이터를 대상으로 한다.
• 측도를 유한차원 유클리드 공간에 매핑하는 벡터화 방법을 개발하여 군집의 구조를 유지한다.
• 측도 생성 과정에 대한 혼합 모델 프레임워크 하에서 군집 성능에 대한 이론적 보장을 제공한다.
• 비용이 많이 드는 워셔스타인 바리센터 계산을 피하기 위해 최적의 양자화를 통한 평균 측도 근사화를 위한 계산적으로 효율적인 알고리즘을 설계한다.
• 위상적 데이터 분석에서 ATOL 절차를 통해 광범위하게 적용 가능하며, 실제 및 시뮬레이션 데이터를 통한 실증적 검증을 보장한다.

제안 방법

• 진짜 평균 측도 $\mathbb{E}(X)$ 를 추정하기 위해 표본 평균 측도 $\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$ 를 플러그인 추정자로 사용한다.
• 배치 및 미니배치 양자화 알고리즘을 적용하여 $L^2$-워셔스타인 의미에서 $\mathbb{E}(X)$ 를 최적으로 근사하는 $k$-포인트 코드북 $\mathbf{c} = (c_1, \dots, c_k)$ 를 계산한다.
• 각 측도 $X_i$ 를 양자화된 점 $c_j$ 를 중심으로 하는 커널 함수의 평가를 통해 $\mathbb{R}^k$ 내의 벡터로 매핑하는 벡터화 맵을 정의함으로써 유한차원 임bedding을 가능하게 한다.
• 평균 측도에 대한 최적의 $k$-포인트 근사화에 대해 거의 최소최대 최적 수렴 속도를 달성함을 증명함으로써 이론적 최적성을 확립한다. 이는 평균 측도에 대한 구조적 가정 하에 성립한다.
• 파괴 및 농도 분석 기법을 활용하여, 결과적으로 생성된 벡터화가 혼합 모델에서 높은 확률로 군집 간 분리를 유지함을 증명한다.
• 지속성 기반 위상적 데이터 분석과의 연결을 위해, ATOL 절차와 커널 기반의 벡터화 체계와의 호환성을 보여줌으로써 방법론을 연결한다.

실험 결과

연구 질문

• RQ1 이산 측도의 분포에 대한 평균 측도를 유한차원 양자화 체계를 통해 최소최대 최적 추정이 가능한가?
• RQ2 측도 생성 과정의 혼합 모델에서 군집의 구조를 유지하는 측도에서 $\mathbb{R}^k$ 로의 벡터화 맵을 어떻게 설계할 수 있는가?
• RQ3 양자화된 중심점으로서의 벡터화 점을 사용할 경우 군집 성능에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 기본적인 $k$-means 알고리즘과 비교해 볼 때, 제안된 배치 및 미니배치 양자화 알고리즘이 측도 기반 데이터에 대해 최적성과 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 이 방법은 특히 지속성 다이어그램 군집화의 맥락에서 위상적 데이터 분석으로 얼마나 일반화될 수 있는가?

주요 결과

• 약한 구조적 가정 하에, 제안된 배치 및 미니배치 양자화 알고리즘이 평균 측도 $\mathbb{E}(X)$ 의 최적의 $k$-포인트 근사화에 대해 거의 최소최대 최적 수렴 속도를 달성한다.
• 양자화된 중심점에서의 커널 평가 기반의 벡터화 맵은 혼합 모델에서 원래 측도 공간의 군집이 $\mathbb{R}^k$ 에서도 높은 확률로 유지됨을 보장한다.
• 이 방법은 위상적 데이터 분석의 맥락에서 측도 기반 군집화 알고리즘에 대해 처음으로 이론적 보장을 제공한다. 특히 지속성 다이어그램에 대해 성립한다.
• ATOL 절차에 대해, $\Psi_{AT}$ 를 사용한 커널 기반의 벡터화는 적절한 조건 하에 $(p, r, 1)$-파괴 맵임이 입증되었으며, 이는 군집 간 분리를 보장한다.
• 실제 및 시뮬레이션 데이터에 대한 실증 결과는 이 방법이 군집화 및 분류 작업에서 효과적임을 확인한다. 특히 텍스트 및 그래프 분류 작업에서 성능을 입증한다.
• 이론적 프레임워크는 또한 표준 점-표본 $k$-means 설정에서 고전적 양자화 기법의 최적성을 복원한다.