[論文レビュー] Minimax Estimation of Discrete Distributions under $\ell_1$ Loss

Yanjun Han, Jiantao Jiao+1 more|arXiv (Cornell University)|Nov 6, 2014

Machine Learning and Algorithms参考文献 26被引用数 5

ひとこと要約

本稿は、サポートサイズ S が標本サイズ n と共に増加する際の離散的分布推定における ℓ₁ 損失下でのタイトなミニマックス境界を確立する。Empirical distribution の最大リスクが漸近的に 2H / ln n に比例するのに対し、ミニマックスリスクは H / ln n であり、エントロピーの上限 H を事前に知らない状態でも、ハードスレッショルド推定量がミニマックス性を達成することを示している。

ABSTRACT

We analyze the problem of discrete distribution estimation under $\ell_1$ loss. We provide non-asymptotic upper and lower bounds on the maximum risk of the empirical distribution (the maximum likelihood estimator), and the minimax risk in regimes where the alphabet size $S$ may grow with the number of observations $n$. We show that among distributions with bounded entropy $H$, the asymptotic maximum risk for the empirical distribution is $2H/\ln n$, while the asymptotic minimax risk is $H/\ln n$. Moreover, Moreover, we show that a hard-thresholding estimator oblivious to the unknown upper bound $H$, is asymptotically minimax. However, if we constrain the estimates to lie in the simplex of probability distributions, then the asymptotic minimax risk is again $2H/\ln n$. We draw connections between our work and the literature on density estimation, entropy estimation, total variation distance ($\ell_1$ divergence) estimation, joint distribution estimation in stochastic processes, normal mean estimation, and adaptive estimation.

研究の動機と目的

• 離散的分布推定における ℓ₁ 損失下でのミニマックスリスクと、empirical distribution 推定量の最大リスクを特定すること。
• サポートサイズ S が標本サイズ n と共に増加する際のこれらのリスクの漸近的挙動を、特にエントロピーの上限制約下で分析すること。
• エントロピーの上限 H の事前知識がなくてもミニマックスリスクを達成する推定量を同定すること、特に高次元および無限次元の設定において。
• 離散的分布推定と、エントロピー推定、密度推定、確率過程などの関連問題との関係を確立すること。
• 他の損失関数と比較することで、非パラメトリックモデルと整合性を持つことから、ℓ₁ 損失の分布推定への適用に理論的根拠を与えること。

提案手法

• 集中不等式と漸近的解析を用いて、最大尤度推定量（MLE）の最大リスクに対する上界と下界を導出する。
• ポisson化技術を適用して多項分布モデルをポアソンモデルに変換し、条件付き事前分布の構築により、より鋭いリスク境界を達成する。
• 一様分布からの ℓ₁ 偏りが有界な分布に対する条件付き事前分布を用いて、ベイズリスクの議論によりミニマックスリスクの下界を導出する。
• 小さな経験的確率をゼロに設定するハードスレッショルド推定量を採用し、H の知識がなくても漸近的にミニマックス性を達成することを示す。
• 一般化された漸近的正規性結果（定理6）を応用し、フィッシャー情報行列とスコア関数の ℓ₁ ノルムを用いて、i.i.d. 状況下でのミニマックスリスクの下界を導出する。
• 単体制約（確率分布）下でのミニマックスリスクと、制約なし推定との比較を行い、漸近的リスクが H/ln n から 2H/ln n に倍増することを示す。

実験結果

リサーチクエスチョン

• RQ1 サポートサイズ S が n と共に増加する際、エントロピーの上限 H が与えられた離散的分布推定において、ℓ₁ 損失下での漸近的ミニマックスリスクは何か？
• RQ2 エントロピー H と標本サイズ n に対して、empirical distribution 推定量の最大リスクはどのように漸近的にスケーリングするか？
• RQ3 エントロピーの上限 H の事前知識がなくても、分布推定量がミニマックスリスクを達成できるか？
• RQ4 推定量が確率単体上に制約される場合、ミニマックスリスクにどのような影響を与えるか？
• RQ5 離散的分布推定の結果は、エントロピー推定、密度推定、確率過程などの広範な問題とどのように関係するか？

主な発見

• エントロピー H が有界で n → ∞ のとき、empirical distribution 推定量の漸近的最悪リスクは 2H / ln n である。
• 漸近的ミニマックスリスクは H / ln n であり、これは empirical 推定量のリスクの半分であり、性能の根本的な差を示している。
• H の知識が不要なハードスレッショルド推定量が、漸近的にミニマックスリスクを達成でき、適応的かつ実用的である。
• 推定量が確率単体上に制約される場合、漸近的ミニマックスリスクは 2H / ln n に増加し、empirical 推定量のリスクと一致する。
• ポアソン化モデル下でのミニマックスリスクは、exp(−ζ²n/24) + R(S, n/(1+ζ)) + ε + δ で有界であり、適切な条件下で指数的集中が成立することを示している。
• 条件付き事前分布下でのベイズリスクはミニマックスリスクの下界を提供し、定数因子の範囲でタイトであることが確認され、漸近的レートが正当化される。