[논문 리뷰] Learning Probability Measures with respect to Optimal Transport Metrics

Guillermo D. Cañas, Lorenzo Rosasco|arXiv (Cornell University)|2012. 09. 05.

Machine Learning and Algorithms참고 문헌 31인용 수 30

한 줄 요약

이 논문은 최적 운반 거리, 특히 2-워샤르슈타인 거리로써 다양체 위의 확률 측도 학습에 대한 수렴 속도를 확립한다. 최적 운반, 양자화, 비지도 학습을 연결함으로써, k-means와 경험 측도가 $ n^{-1/(2d+4)} $ 속도로 수렴함을 보여주는 엄밀한 확률적 경계를 도출한다. 이 경계는 측도의 밀도 정규성에 따라 $ m(\rho_A) $에 의존한다.

ABSTRACT

We study the problem of estimating, in the sense of optimal transport metrics, a measure which is assumed supported on a manifold embedded in a Hilbert space. By establishing a precise connection between optimal transport metrics, optimal quantization, and learning theory, we derive new probabilistic bounds for the performance of a classic algorithm in unsupervised learning (k-means), when used to produce a probability measure derived from the data. In the course of the analysis, we arrive at new lower bounds, as well as probabilistic upper bounds on the convergence rate of the empirical law of large numbers, which, unlike existing bounds, are applicable to a wide class of measures.

연구 동기 및 목표

• 지원이 저차원 다양체 위에 있을 때, 경험 측도와 k-means로 유도된 확률 측도가 진짜 데이터 생성 측도로 수렴하는 방식을 분석하는 것.
• 유한 샘플에서 유도된 추정치와 진짜 측도 사이의 2-워샤르슈타인 거리에 대한 엄밀한 확률적 경계를 수립하는 것.
• k-means와 같은 알고리즘이 경험 측도로의 2-워샤르슈타인 거리를 최소화한다는 것을 보여줌으로써 최적 운반, 최적 양자화, 비지도 학습을 연결하는 것.
• 밀도 정규성 항 $ m(\rho_A) $를 도입함으로써, 비균일하거나 특이 성분을 가진 측도를 포함한 광범위한 측도 클래스에 대해 유효한 수렴 속도를 도출하는 것.

제안 방법

• 경험 측도 $ \hat{\rho}_n $가 진짜 측도 $ \rho $로 수렴하는 수렴을 평가하기 위해 2-워샤르슈타인 거리 $ W_2(\rho, \hat{\rho}_n) $를 주요 척도로 사용한다.
• 세 항으로 나누는 삼각부등식 분해를 적용한다: $ W_2(\rho, \hat{\rho}_n)^2 \leq 3\left[ W_2(\rho, \pi_{S_k}\rho)^2 + W_2(\pi_{S_k}\rho, \pi_{S_k}\hat{\rho}_n)^2 + W_2(\pi_{S_k}\hat{\rho}_n, \hat{\rho}_n)^2 \right] $, 여기서 $ S_k $는 k점 양자화자이다.
• 최적 양자화 이론의 결과를 활용하여 최적 양자화 오차 $ W_2(\rho, \pi_{S_k}\rho)^2 $를 $ \Theta(k^{-2/d}) $로 묶는다.
• 양자화자 집합 위에서 경험 기대와 진짜 기대의 편차를 제어하기 위해 $ \sup_{|S|=k} |\mathbb{E}_{x\sim\hat{\rho}_n} d(x,S)^2 - \mathbb{E}_{x\sim\rho} d(x,S)^2| $를 사용하며, 농도 불등식을 활용한다.
• 양자화 오차와 경험 편차 사이의 균형을 맞추기 위해 $ k $에 대해 경계를 최적화함으로써 최적의 선택 $ k = \Theta(n^{d/(2d+4)}) $를 이끌어낸다.
• 고정 확률 경계를 도출하기 위해 가우시안 尾 꼬리 경계를 사용하여, 확률 $ 1 - e^{-\tau^2} $ 에서 $ W_2(\rho, \hat{\rho}_n) \leq C \cdot m(\rho_A) \cdot n^{-1/(2d+4)} \cdot \tau $ 를 얻는다.

실험 결과

연구 질문

• RQ1 측도 $ \rho $가 d차원 다양체 위에 지원될 때, 경험 측도 $ \hat{\rho}_n $가 2-워샤르슈타인 거리에서 진짜 측도 $ \rho $로 수렴하는 최적의 수렴 속도는 무엇인가?
• RQ2 k-means가 측도 추정기로 사용될 때, 경험 측도와 비교해 2-워샤르슈타인 수렴 측면에서 성능은 어떻게 되는가?
• RQ3 비균일하거나 특이 성분을 가진 측도를 포함한 광범위한 측도 클래스에 대해 유효한 경험 측도와 k-means로 유도된 측도의 수렴에 대한 확률적 경계를 도출할 수 있는가?
• RQ4 최적 양자화는 진짜 측도와 그 추정치 사이의 2-워샤르슈타인 거리를 묶는 데 어떤 역할을 하는가?
• RQ5 밀도의 정규성은 $ m(\rho_A) = \int \rho_A(x)^{d/(d+2)} d\lambda_{\mathcal{M}}(x) $ 로 캡처되며, 이는 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 경험 측도 $ \hat{\rho}_n $는 2-워샤르슈타인 거리에서 진짜 측도 $ \rho $로 높은 확률로 $ n^{-1/(2d+4)} $ 속도로 수렴한다.
• 수렴 속도는 측도 정규성 항 $ m(\rho_A) $에 의해 결정되며, 이는 $ \rho $의 절대 연속 부분의 집중도를 측정한다.
• k-means는 $ \pi_{\hat{S}_k}\hat{\rho}_n $라는 측도를 생성하며, 이는 $ \rho $로 $ n^{-1/(2d+4)} $ 속도로 수렴한다. 이는 k-means가 전체 경험 측도만큼 통계적으로 효율적임을 시사한다.
• k-means의 최적 클러스터 수 $ k $는 $ \Theta(n^{d/(2d+4)}) $이며, 이는 $ n $에 대해 비선형적임을 보여주며, 소수의 대표 점들로도 근사적으로 최적의 결과를 얻을 수 있음을 시사한다.
• k-means의 경계는 경험 측도의 경계보다 악화되지 않는다. 왜냐하면 k-means 출력은 부분 최적의 양자화자이기 때문이며, 최적 양자화자가 $ \rho $로 수렴하는 속도는 k-means보다 느릴 수 없기 때문이다.
• 현재 경계는 통계적 편차 항 $ \sup_{|S|=k} |\mathbb{E}_{\hat{\rho}_n} d(x,S)^2 - \mathbb{E}_{\rho} d(x,S)^2| $에 의해 제한되어 있으며, 이 항에 대한 향상된 경계는 전체 수렴 속도를 더욱 강화시킬 것이다.