[論文レビュー] Local moment matching: A unified methodology for symmetric functional estimation and distribution estimation under Wasserstein distance

Yanjun Han, Jiantao Jiao+1 more|arXiv (Cornell University)|Feb 23, 2018

Markov Chains and Monte Carlo Methods参考文献 28被引用数 8

ひとこと要約

本稿では、Wasserstein距離下での対称関数型および分布推定のための統一的枠組みであるローカルモーメントマッチング（LMM）を導入する。多項式を暗黙的に近似することで、エントロピー、パワー和、サポートサイズの推定において最小最大最適レートを達成し、情報理論的限界に一致するサンプル複雑度を実現する。

ABSTRACT

We present \emph{Local Moment Matching (LMM)}, a unified methodology for symmetric functional estimation and distribution estimation under Wasserstein distance. We construct an efficiently computable estimator that achieves the minimax rates in estimating the distribution up to permutation, and show that the plug-in approach of our unlabeled distribution estimator is "universal" in estimating symmetric functionals of discrete distributions. Instead of doing best polynomial approximation explicitly as in existing literature of functional estimation, the plug-in approach conducts polynomial approximation implicitly and attains the optimal sample complexity for the entropy, power sum and support size functionals.

研究の動機と目的

• 置換を許容する離散分布の推定という課題に取り組む。Wasserstein距離を用い、順序付き分布ベクトル P< に注目する。
• ℓ1距離およびWasserstein損失下での分布推定において、最小最大最適レートを達成する計算効率の良い推定器を開発する。
• ラベルなし分布推定器を用いたプラグインアプローチにより、対称関数型推定（例：エントロピー、サポートサイズ）と分布推定を統一する。
• プロファイル最大尤度（PML）や線形計画法といった従来手法の限界を克服し、証明可能に効率的かつ最適なアルゴリズムを提供する。
• LMMに基づくプラグイン推定器が、さまざまなパrameter領域において情報理論的限界に到達するという普遍的最適性を確立する。

提案手法

• 明示的な最良多項式近似を必要としない、多項式近似を暗黙的に行う新たな推定器としてローカルモーメントマッチング（LMM）を提案する。
• ローカルモーメントマッチングを用いて、Wasserstein距離下で最小最大最適な順序付き分布 P< の推定器を構築する。
• プラグインアプローチを適用する：LMMに基づくラベルなし分布推定器を関数型に代入することで対称関数型を推定する。
• Charlier多項式とモーメントマッチング技術を活用し、高次元設定における近似誤差と集中を制御する。
• Hoeffding型不等式とCharlier多項式係数のバウンドを用いて、モーメントマッチングにおける逸脱を制御する理論的保証を確立する。
• 区間 ˜Ij における分割スキームを用いて解析を局所化し、次数 K の多項式近似を適用することで、誤差バウンドが n−1/2 と対数因子に比例するように保証する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein距離下で、対称関数型推定と分布推定を統一する枠組みを開発することは可能か？
• RQ2 LMM手法は、順序付き分布 P< の推定において最小最大最適レートを達成するか？
• RQ3 LMMに基づくラベルなし分布推定器を用いたプラグインアプローチは、対称関数型に関して普遍的に情報理論的限界に到達するか？
• RQ4 PML や線形計画法といった従来手法と比較して、LMM のサンプル複雑度および理論的保証はどのように異なるか？
• RQ5 エントロピー推定における ǫ に最適な依存関係は何か？LMM はそれを達成するか？

主な発見

• LMM は、Wasserstein距離下で順序付き分布 P< の推定において最小最大最適レートを達成し、サポートポイント数 S に対してサブリニアなサンプル複雑度を実現する。
• LMM に基づくプラグイン推定器は、エントロピー推定において情報理論的限界に到達し、誤差が O(S/(n ln n)) で抑えられる。
• サポートサイズ推定において、LMM プラグイン推定器の誤差は O(k exp(−Θ(√(n ln k)/k)) + n^ε / √k) で抑えられ、既知の最小最大下界と一致する。
• 明示的な最良多項式近似を避ける一方で、依然として最適なサンプル複雑度を達成する、暗黙の多項式近似を実行する。
• 理論的解析により、エントロピー関数型の誤差バウンドにおける2次項が O(n^ε / √S) に比例することが示され、これはほぼ最適である。
• この枠組みは普遍的である：同じ LMM 推定器を用いて、エントロピー、パワー和、サポートサイズといった複数の対称関数型を最適な性能で推定可能である。