[論文レビュー] Sharp regret bounds for empirical Bayes and compound decision problems
本稿は、正規およびポアソン位置モデルにおける経験ベイズおよび化合物意思決定問題について、鋭い漸近的レジストバウンドを確立する。コンpactにサポートされた事前分布の場合、ポアソンモデルでは最適なレジストが $Θ((\log n / \log\log n)^2)$ にスケーリングされ、指数的でない事前分布では $Θ(\log^3 n)$ にスケーリングされ、それぞれ下界が $Ω((\log n / \log\log n)^2)$ および $Ω(\log^2 n)$ であることが示され、長年の予想が解消され、データ駆動型収縮推定器のタイトな性能限界が確立される。
We consider the classical problems of estimating the mean of an $n$-dimensional normally (with identity covariance matrix) or Poisson distributed vector under the squared loss. In a Bayesian setting the optimal estimator is given by the prior-dependent conditional mean. In a frequentist setting various shrinkage methods were developed over the last century. The framework of empirical Bayes, put forth by Robbins (1956), combines Bayesian and frequentist mindsets by postulating that the parameters are independent but with an unknown prior and aims to use a fully data-driven estimator to compete with the Bayesian oracle that knows the true prior. The central figure of merit is the regret, namely, the total excess risk over the Bayes risk in the worst case (over the priors). Although this paradigm was introduced more than 60 years ago, little is known about the asymptotic scaling of the optimal regret in the nonparametric setting. We show that for the Poisson model with compactly supported and subexponential priors, the optimal regret scales as $Θ((\frac{\log n}{\log\log n})^2)$ and $Θ(\log^3 n)$, respectively, both attained by the original estimator of Robbins. For the normal mean model, the regret is shown to be at least $Ω((\frac{\log n}{\log\log n})^2)$ and $Ω(\log^2 n)$ for compactly supported and subgaussian priors, respectively, the former of which resolves the conjecture of Singh (1979) on the impossibility of achieving bounded regret; before this work, the best regret lower bound was $Ω(1)$. In addition to the empirical Bayes setting, these results are shown to hold in the compound setting where the parameters are deterministic. As a side application, the construction in this paper also leads to improved or new lower bounds for density estimation of Gaussian and Poisson mixtures.
研究の動機と目的
- 非パラメトリックな設定における経験ベイズおよび化合物意思決定問題の鋭い漸近的レジストバウンドを確立すること。
- コンパクトにサポートされた事前分布を伴う正規平均モデルにおいて、有界なレジストを達成できないというシンガー（1979）の予想を解消すること。
- コンパクトにサポートされた、サブガウスィアン、サブエクスポネンシャルな事前分布の下で、正規およびポアソンモデルにおけるレジストのタイトな下限および上限を導出すること。
- パrameterが確率的ではなく決定論的である化合物意思決定設定に結果を拡張し、レジストスケーリングの同等性を示すこと。
- 構成を応用して、ガウスおよびポアソンの位置スケール混合分布の密度推定に関する新しいまたは改善されたミニマックス下界を導出すること。
提案手法
- 一般化されたレジスト下界のためのプログラムに従い、回帰関数の推定に帰着することで、レジスト解析を簡略化する。
- アッソアドの補題および一般化されたファーノ法の変種を用いて、パラメータ設定の上に適切に構築された事前分布を用いて、レジストの下界を導出する。
- 重い尾を持つまたは有界でない事前分布の影響を制御するための切断技術を用い、レジストが制御された誤差内で切断に頑健であることを示す。
- 古典的な経験ベイズ手法であるロビンズ推定量を適用し、正規およびポアソンモデルの両方で最適なレジストスケーリングを達成することを示す。
- 積分作用素のスペクトル性質および正規直交基底関数（例えば、エルミートおよびラゲール関数）を用いて、制御されたモーメントおよびノルムを持つテスト事前分布を構築する。
- データ処理不等式およびヘルミート距離のバウンドを用いて、混合密度の推定誤差と意思決定問題におけるレジストを関連付ける。
実験結果
リサーチクエスチョン
- RQ1コンパクトにサポートされた事前分布を伴う正規平均モデルにおける経験ベイズ枠組みでの最適な漸近的レジストスケーリングは何か？
- RQ2シンガー（1979）の予想、すなわちコンパクトにサポートされた事前分布を伴う正規平均モデルで有界なレジストを達成できないという予想は解消可能か？また、その正規モデルにおける真の下界は何か？
- RQ3コンパクトにサポートされたおよびサブエクスポネンシャルな事前分布を伴うポアソンモデルにおける鋭いレジストスケーリングは何か？
- RQ4パラメータが確率的ではなく決定論的である化合物意思決定設定における経験ベイズ設定のレジストバウンドは、どのように比較されるか？
- RQ5レジスト下界の構成が、ガウスおよびポアソン混合分布の密度推定に関する新しいミニマックス下界を導出するために再利用可能か？
主な発見
- コンパクトにサポートされた事前分布を伴うポアソンモデルでは、最適なレジストが $Θ((\log n / \log\log n)^2)$ にスケーリングされ、サブエクスポネンシャルな事前分布では $Θ(\log^3 n)$ にスケーリングされ、両者ともロビンズ推定量によって達成される。
- 正規平均モデルにおいて、コンパクトにサポートされた事前分布を伴う場合、レジストは少なくとも $Ω((\log n / \log\log n)^2)$ であることが示され、シンガー（1979）の有界なレジストの不可能性に関する予想が解消される。
- 正規モデルにおけるサブガウスィアン事前分布を伴う場合、レジストは少なくとも $Ω(\log^2 n)$ であることが示され、以前の最良下界 $Ω(1)$ よりも改善される。
- 同じレジストスケーリングが、パrameterが確率的ではなく決定論的である化合物意思決定設定でも成り立ち、根本的な限界の同等性が示される。
- この構成により、ガウス混合分布の密度推定に関する新しいミニマックス下界が得られる：コンパクトにサポートされた平均に対して $Ω(\frac{\log n}{n \log\log n})$、サブガウスィアン混合に対して $Ω(\frac{\log n}{n})$。
- 結果はタイトである。下界は、それぞれのモデルでロビンズ推定量によって達成される上界と一致する。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。