[論文レビュー] A Unified Maximum Likelihood Approach for Optimal Distribution Property Estimation

Jayadev Acharya, Hirakendu Das+2 more|arXiv (Cornell University)|Nov 9, 2016

Bayesian Methods and Mixture Models参考文献 3被引用数 9

ひとこと要約

本稿は、大規模なアルファベットにおける対称分布の性質（エントロピー、サポートサイズ、サポートカバレッジ、一様性からの距離など）を最適に推定するための統一的最尤枠組みを導入する。この枠組みは、プロファイル最大尤度（PML）を用い、最適な標本複雑度と誤差境界を達成することを証明しており、より単純なプラグイン分析を用いることで、特殊化された推定器を凌駕するか同等の性能を発揮する。

ABSTRACT

The advent of data science has spurred interest in estimating properties of distributions over large alphabets. Fundamental symmetric properties such as support size, support coverage, entropy, and proximity to uniformity, received most attention, with each property estimated using a different technique and often intricate analysis tools. We prove that for all these properties, a single, simple, plug-in estimator---profile maximum likelihood (PML)---performs as well as the best specialized techniques. This raises the possibility that PML may optimally estimate many other symmetric properties.

研究の動機と目的

• 対称的分布の性質の推定を、一貫した枠組みで統一すること。
• プロファイル最大尤度（PML）が、エントロピー、サポートサイズ、サポートカバレッジなどの主要な性質に対して最適な標本複雑度を達成することを示すこと。
• PMLに基づく推定器が、複雑な特殊化手法を凌駕するか同等の性能を発揮することを示し、より単純なプラグイン分析を用いること。
• PMLが任意の対称的性質推定において競争力を持つことを確立し、広範な適用可能性を示唆すること。
• McDiarmidの不等式とプロファイルに基づく修正を用いて、PML推定器の集中性とバイアスを分析すること。

提案手法

• 観測された周波数プロファイルの尤度を最大化するPMLに基づくプラグイン推定器を提案する。
• 経験的周波数分布をベースラインとし、それをPMLを用いて改善することで推定精度を向上させる。
• 標本の変更によるPML推定器の期待値からの逸脱を、差分が有界であることを活用してMcDiarmidの不等式で上限付ける。
• 既存の標本最適推定器を変更し、個々の標本変更に対する感度（有界な$c_*$）を小さくすることで、強い集中限界を達成する。
• 計算的に実行不可能な場合に備えて、$β$-近似PML分布の概念を導入し、誤差保証を維持する。
• PML推定器が最適な標本複雑度のもとで、高確率（$1 - \exp(-\sqrt{n})$）で$4\varepsilon$の誤差境界を達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 最大尤度に基づく単一の統一的推定器が、複数の対称的分布の性質において最適な性能を達成できるか？
• RQ2 プロファイル最大尤度（PML）が、エントロピー、サポートサイズ、サポートカバレッジの専用推定器と同等かそれ以上の標本複雑度と誤差境界を達成できるか？
• RQ3 標本の変更が有界な場合にPML推定器の集中性はどのように振る舞い、確率的誤差境界を得るためにどのように利用できるか？
• RQ4 PMLは、近似的に最適な標本複雑度と低いバイアスを備えた任意の対称的分布の性質推定に拡張可能か？
• RQ5 誤差境界における$\varepsilon \gtrsim 1/n^{0.25-\eta}$の要件は、証明技法に起因する一時的制限か、根本的な制限を反映しているか？

主な発見

• PMLは、エントロピー、サポートサイズ、サポートカバレッジ、一様性からの距離の推定において、最適な標本複雑度を達成し、文献に知られる最高の境界と一致する。
• PMLに基づく推定器は、最適な標本数を用い、確率$1 - \exp(-\sqrt{n})$以上で$4\varepsilon$以内の誤差でこれらの性質を推定する。
• PML推定器のバイアスは$\varepsilon$以下に抑えられ、任意の1つの標本変更に対する感度は$O(n^{0.1}/n)$以下であり、McDiarmidの不等式による強い集中性が保証される。
• PMLアプローチは、任意の対称的性質推定において競争力を持つことが示され、広範な性質クラスにおいて最適である可能性を示唆する。
• 理論的分析により、正確なPMLが計算不能な場合に用いられる$\beta$-近似PML分布ですら、$\beta > \exp(-\sqrt{n})$のとき、高確率での誤差境界を維持できることが示された。
• 結果から、$\varepsilon$の下限は証明技法に起因する一時的制限であり、PMLはすべての$\varepsilon$のスケールで最適である可能性が示唆される。