[논문 리뷰] Estimation and inference for the Wasserstein distance between mixing measures in topic models

Xin Bing, Florentina Bunea외 1명|arXiv (Cornell University)|2022. 06. 26.

Markov Chains and Monte Carlo Methods인용 수 4

한 줄 요약

이 논문은 주제 모델에서 혼합 측도 간 워샤르슈타인 거리 추정을 위한 최초의 최대화 하한을 제공하며, 충족 조건에 기반한 정당화를 통해 이를 정규화된 거리 척도로 설정한다. 또한 고차원적이고 잠재적으로 희소한 주제 모델에서 워샤르슈타인 거리에 대한 점점 타당한 신뢰구간을 가능하게 하는 완전히 데이터 기반의 추론 도구를 개발한다.

ABSTRACT

The Wasserstein distance between mixing measures has come to occupy a central place in the statistical analysis of mixture models. This work proposes a new canonical interpretation of this distance and provides tools to perform inference on the Wasserstein distance between mixing measures in topic models. We consider the general setting of an identifiable mixture model consisting of mixtures of distributions from a set $\mathcal{A}$ equipped with an arbitrary metric $d$, and show that the Wasserstein distance between mixing measures is uniquely characterized as the most discriminative convex extension of the metric $d$ to the set of mixtures of elements of $\mathcal{A}$. The Wasserstein distance between mixing measures has been widely used in the study of such models, but without axiomatic justification. Our results establish this metric to be a canonical choice. Specializing our results to topic models, we consider estimation and inference of this distance. Though upper bounds for its estimation have been recently established elsewhere, we prove the first minimax lower bounds for the estimation of the Wasserstein distance in topic models. We also establish fully data-driven inferential tools for the Wasserstein distance in the topic model context. Our results apply to potentially sparse mixtures of high-dimensional discrete probability distributions. These results allow us to obtain the first asymptotically valid confidence intervals for the Wasserstein distance in topic models.

연구 동기 및 목표

• 식별 가능한 혼합 모델에서 혼합 측도 간 워샤르슈타인 거리를 정규화된 척도로 사용하기 위한 충족 조건 기반 기초를 제공하는 것.
• 성분과 가중치를 모두 추정할 때 주제 모델에서 혼합 측도 간 워샤르슈타인 거리 추정을 위한 최대화 하한 문제를 해결하는 것.
• 고차원적이고 희소한 이산 분포를 가진 주제 모델에서 워샤르슈타인 거리에 대한 완전히 데이터 기반의 추론 절차, 특히 渐近적으로 타당한 신뢰구간을 개발하는 것.
• 기존 상한과 최적 추정 속도 사이의 격차를 메우기 위해 이 추정 문제에 대한 최초의 최대화 하한을 확립하는 것.
• 혼합 성분이 이산적이고 잠재적으로 낮은 질서일 수 있는 희소한 고차원 설정으로 이론적 도구를 확장하는 것.

제안 방법

• 기본 거리 $ d $ 가 집합 $ \mathcal{A} $ 에서 혼합 측도 간 워샤르슈타인 거리가 기초 거리 $ d $ 의 유일한 가장 분류 능력 있는 볼록 확장임을 입증하여 충족 조건에 기반한 정당화를 제공한다.
• 추정 문제 $ W(\widehat{\boldsymbol{\alpha}}, \boldsymbol{\alpha}; d) $ 를 $ \ell_1 $-노름 추정 $ \widehat{\alpha} - \alpha $ 와 $ \widehat{A} - A $ 로 연결함으로써 최대화 하한을 유도하기 위한 감소 기법을 사용한다.
• 희소성 제약 조건 하에서 고차원 벡터 및 행렬 성분의 $ \ell_1 $-추정에 관한 기존 결과를 활용한다.
• 감소 기법을 두 가지 별개의 하위문제에 적용한다: 고정된 성분에 초점을 맞춘 $ \|\widehat{\alpha} - \alpha\|_1 $ 과 고정된 가중치에 초점을 맞춘 $ \|\widehat{A} - A\|_1 $.
• 규칙성 조건 하에서 추정기의 渐近 정규성과 유도된 최대화 속도를 활용하여 데이터 기반 추론 절차를 구축한다.
• 성분 간 분리 정도를 제어하기 위해 $ \min_{k \neq k'} d(A_k, A_{k'}) \geq c_d \overline{\kappa}_\tau \|A_k - A_{k'}\|_1 $ 를 만족하는 거리 척도 $ d $ 를 활용한다.

실험 결과

연구 질문

• RQ1 혼합 측도 간 워샤르슈타인 거리는 혼합 모델을 비교하는 데 정규화된 선택인가, 만약 그렇다면 이를 뒷받침하는 충족 조건 정당화는 무엇인가?
• RQ2 성분 분포와 혼합 가중치를 모두 추정할 때 주제 모델에서 혼합 측도 간 워샤르슈타인 거리 추정을 위한 최대화 하한은 무엇인가?
• RQ3 주제 모델에서 혼합 측도 간 워샤르슈타인 거리에 대해 완전히 데이터 기반의 신뢰구간을 구성할 수 있는가?
• RQ4 고차원 이산 설정에서 모델 복잡도, 예를 들어 희소성 $ \tau $, 표본 크기 $ n $, 차원 수 $ pK $ 와 함께 추정 속도는 어떻게 척도가 설정되는가?
• RQ5 희소하고 고차원적인 주제 모델에서 혼합 측도 간 워샤르슈타인 거리 추정의 최적 수렴 속도는 무엇인가?

주요 결과

• 혼합 측도 간 워샤르슈타인 거리는 기초 거리 $ d $ 의 가장 분류 능력 있는 볼록 확장으로 유일하게 특징지어지며, 이를 사용하는 데 대한 충족 조건 기반 기초를 제공한다.
• 이 논문은 주제 모델에서 워샤르슈타인 거리 추정을 위한 최초의 최대화 하한을 확립한다: $ \inf_{\widehat{\boldsymbol{\alpha}}}\sup_{\alpha \in \Theta_{\alpha}(\tau), A \in \Theta_A} \mathbb{E}[W(\widehat{\boldsymbol{\alpha}}, \boldsymbol{\alpha}; d)] \gtrsim c_d \overline{\kappa}_\tau \left( \sqrt{\tau/N} + \frac{1}{\overline{\kappa}_\tau} \sqrt{pK/(nN)} \right) $.
• 하한은 근사 최적의 최소 추정이 가능함을 확인하며, 최근 문헌에서 제시된 상한과 보완된다.
• 저자들은 주제 모델에서 워샤르슈타인 거리에 대한 점점 타당한 신뢰구간을 가능하게 하는 최초의 완전히 데이터 기반의 추론 도구를 구축한다.
• 결과는 일반 조건 하에서도 성립하며, 잠재적으로 희소한 고차원 이산 분포의 혼합 모델에 대해 성립하며, $ 1 < \tau \leq cN $ 이고 $ pK \leq c'(nN) $ 를 만족한다.
• 이론적 프레임워크는 $ \min_{k \neq k'} d(A_k, A_{k'}) \geq c_d \overline{\kappa}_\tau \|A_k - A_{k'}\|_1 $ 를 만족하는 광범위한 거리 척도 $ d $ 에 적용 가능하며, 성분 간 의미 있는 분리 정도를 보장한다.