[論文レビュー] Estimation and inference for the Wasserstein distance between mixing measures in topic models
本稿は、トピックモデルにおける混合測度間の Wasserstein 距離を推定するための最初のミニマックス下界を提供し、公理的妥当性の裏付けによってそれが標準的な度合いとして確立されている。さらに、高次元的かつおそらくスパースなトピックモデルにおける Wasserstein 距離の漸近的に有効な信頼区間を可能にする、完全にデータ駆動型の推論ツールを開発している。
The Wasserstein distance between mixing measures has come to occupy a central place in the statistical analysis of mixture models. This work proposes a new canonical interpretation of this distance and provides tools to perform inference on the Wasserstein distance between mixing measures in topic models. We consider the general setting of an identifiable mixture model consisting of mixtures of distributions from a set $\mathcal{A}$ equipped with an arbitrary metric $d$, and show that the Wasserstein distance between mixing measures is uniquely characterized as the most discriminative convex extension of the metric $d$ to the set of mixtures of elements of $\mathcal{A}$. The Wasserstein distance between mixing measures has been widely used in the study of such models, but without axiomatic justification. Our results establish this metric to be a canonical choice. Specializing our results to topic models, we consider estimation and inference of this distance. Though upper bounds for its estimation have been recently established elsewhere, we prove the first minimax lower bounds for the estimation of the Wasserstein distance in topic models. We also establish fully data-driven inferential tools for the Wasserstein distance in the topic model context. Our results apply to potentially sparse mixtures of high-dimensional discrete probability distributions. These results allow us to obtain the first asymptotically valid confidence intervals for the Wasserstein distance in topic models.
研究の動機と目的
- 識別可能な混合モデルにおける混合測度間の Wasserstein 距離を標準的度合いとして使用するための公理的基礎を提供すること。
- 両方の成分と重みが推定される状況下で、トピックモデルにおける混合測度間の Wasserstein 距離を推定するためのミニマックス下界に関する未解決問題に取り組むこと。
- 高次元的かつスパースな離散分布を伴うトピックモデルにおける Wasserstein 距離の完全にデータ駆動型の推論手順、特に漸近的に有効な信頼区間を構築すること。
- 既存の上界と最適推定レートの間のギャップを埋めるために、この推定問題に対する最初のミニマックス下界を確立すること。
- 混合成分が離散的でかつ可能なかつて低ランクであるようなスパースかつ高次元的設定への理論的ツールの拡張。
提案手法
- ベース度合い $ d $ が集合 $ \mathcal{A} $ 上で、混合測度間の Wasserstein 距離が、$ d $ の唯一の最も判別力のある凸拡張であることを示し、公理的妥当性を提供する。
- 推定値 $ W(\widehat{\boldsymbol{\alpha}}, \boldsymbol{\alpha}; d) $ を $ \widehat{\alpha} - \alpha $ と $ \widehat{A} - A $ の $ \ell_1 $-ノルム推定に帰着させる還元スキームを用いてミニマックス下界を導出する。
- スパarsity制約下でのスパースな高次元ベクトルおよび行列成分の $ \ell_1 $-推定に関する既知の結果を活用する。
- 固定された成分に対する $ \|\widehat{\alpha} - \alpha\|_1 $ の推定、および固定された重みに対する $ \|\widehat{A} - A\|_1 $ の推定という2つの異なる部分問題に還元を適用する。
- 正則性条件下での推定器の漸近正規性と導出されたミニマックスレートを用いて、データ駆動型の推論手順を構築する。
- 成分間の分離を制御するために、$ \min_{k \neq k'} d(A_k, A_{k'}) \geq c_d \overline{\kappa}_\tau \|A_k - A_{k'}\|_1 $ を満たす度合い $ d $ を用いる。
実験結果
リサーチクエスチョン
- RQ1混合測度間の Wasserstein 距離は、混合モデルを比較するための標準的選択肢であるか。もしそうならば、その背後にある公理的妥当性は何か？
- RQ2両方の成分分布と混合重みが推定される状況下で、トピックモデルにおける混合測度間の Wasserstein 距離を推定するためのミニマックス下界は何か？
- RQ3トピックモデルにおける混合測度間の Wasserstein 距離に対して、完全にデータ駆動型の信頼区間を構築できるか？
- RQ4高次元的離散的設定において、スパarsity $ \tau $、標本サイズ $ n $、次元 $ pK $ といったモデルの複雑さに伴い、推定レートはどのようにスケーリングするか？
- RQ5スパースかつ高次元的なトピックモデルにおける混合測度間の Wasserstein 距離を推定するための最適収束レートは何か？
主な発見
- 混合測度間の Wasserstein 距離は、唯一の最も判別力のある凸拡張として、ベース度合い $ d $ に対して特徴づけられ、その使用に公理的基盤が与えられる。
- 本稿は、トピックモデルにおける Wasserstein 距離推定のための最初のミニマックス下界を確立している：$ \inf_{\widehat{\boldsymbol{\alpha}}}\sup_{\alpha \in \Theta_{\alpha}(\tau), A \in \Theta_A} \mathbb{E}[W(\widehat{\boldsymbol{\alpha}}, \boldsymbol{\alpha}; d)] \gtrsim c_d \overline{\kappa}_\tau \left( \sqrt{\tau/N} + \frac{1}{\overline{\kappa}_\tau} \sqrt{pK/(nN)} \right) $。
- 下界は、近似的にミニマックス最適な推定が達成可能であることを確認しており、最近の文献における上界と補完的である。
- 著者らは、トピックモデルにおける Wasserstein 距離のための最初の完全にデータ駆動型の推論ツールを構築し、漸近的に有効な信頼区間を可能にしている。
- 条件は一般である。特に、高次元的離散分布のスパース混合が許容され、$ 1 < \tau \leq cN $ および $ pK \leq c'(nN) $ を満たす。
- 理論的枠組みは、$ \min_{k \neq k'} d(A_k, A_{k'}) \geq c_d \overline{\kappa}_\tau \|A_k - A_{k'}\|_1 $ を満たす広範な度合い $ d $ に適用可能であり、成分間の意味のある分離を保証する。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。