[論文レビュー] Adaptive Posterior Convergence Rates in Bayesian Density Deconvolution with Supersmooth Errors

Abhra Sarkar, Debdeep Pati+2 more|arXiv (Cornell University)|Aug 25, 2013

Statistical Methods and Inference参考文献 23被引用数 3

ひとこと要約

この論文は、正規分布のディリクレ過程混合事前分布を用いて、超滑らか誤差下でのベイジアン密度デコンボリューションにおいて、事後分布の適応的収束速度を確立している。2 ≤ p ≤ ∞ における L_p 範囲で、真の密度の滑らかさ η に対して、ややい顕著な尾部条件のもとで、最小最大レート (log n)^{-η/β} で事後分布が収束することを証明しており、非パラメトリック事前分布を用いたデコンボリューションにおける、適応的最小最大事後集中の理論的裏付けを初めて得たものである。

ABSTRACT

Bayesian density deconvolution using nonparametric prior distributions is a useful alternative to the frequentist kernel based deconvolution estimators due to its potentially wide range of applicability, straightforward uncertainty quantification and generalizability to more sophisticated models. This article is the first substantive effort to theoretically quantify the behavior of the posterior in this recent line of research. In particular, assuming a known supersmooth error density, a Dirichlet process mixture of Normals on the true density leads to a posterior convergence rate same as the minimax rate $(\log n)^{-η/β}$ adaptively over the smoothness $η$ of an appropriate Hölder space of densities, where $β$ is the degree of smoothness of the error distribution. Our main contribution is achieving adaptive minimax rates with respect to the $L_p$ norm for $2 \leq p \leq \infty$ under mild regularity conditions on the true density. En route, we develop tight concentration bounds for a class of kernel based deconvolution estimators which might be of independent interest.

研究の動機と目的

• 超滑らか測定誤差を伴うベイジアン密度デコンボリューションにおける理論的事後集中レートの確立。
• ディリクレ過程混合正規分布（DPMM）事前分布が、L_p 範囲で適応的最小最大事後収束速度を達成できるかどうかの調査。
• 事後一貫性および最適レートを達成するための真の密度および誤差密度の最小正則性条件の特定。
• 標準的密度推定からの事後一貫性結果を、測定誤差を伴うデコンボリューション設定へと拡張すること。
• 滑らかさ η の事前知識が不要である場合に、事後分布が最小最大レートに収束する十分条件の提示。

提案手法

• 未知の密度 f_X にディリクレ過程混合正規分布事前分布を適用し、共役正規ベース測度および逆ガンマ分布をスケールパラメータに用いる。
• カーネルベースのデコンボリューション推定量をベンチマークとして用い、そのタイトな集中境界を導出し、事後収束解析に用いる。
• Kullback-Leibler（KL）ダイバージェンスおよびエントロピー条件に基づく一般化された事後収束フレームワークを用い、デコンボリューション設定に適応させる。
• KLダイバージェンス、エントロピー、および事前集中境界を含む十分条件の検証により、L_p 範囲における事後収束を確立する。
• Talagrandの不等式および経験過程のモーメントバウンドを用いて、事後収束解析における経験過程項を制御する。
• バイアスとバリアンスのバランスを取るために、最適なバンド幅 h_n ≍ (log n)^{-1/β} を導出し、これと事後集中レートを関連付ける。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ過程混合正規分布事前分布は、超滑らか誤差を伴うベイジアン密度デコンボリューションにおいて、適応的最小最大事後収束速度を達成できるか？
• RQ2 真の密度および誤差密度に必要な最小正則性条件は何か？ これにより、最小最大レートでの事後収束が達成できる。
• RQ3 L_p 範囲（2 ≤ p ≤ ∞）における事後集中レートは、頻度的最小最大レート (log n)^{-η/β} と一致するか？
• RQ4 真の密度の滑らかさ η の事前知識がなくても、このレートに適応的に達成可能か？
• RQ5 真の密度および誤差密度の尾部条件は、デコンボリューションにおける事後集中にどのように影響するか？

主な発見

• 真の密度および誤差密度にややい多項式的尾部条件が満たされれば、2 ≤ p ≤ ∞ における L_p 範囲で、事後分布が最小最大レート (log n)^{-η/β} に収束する。
• 滑らかさ η の事前知識がなくても、適応的最小最大事後集中が達成され、完全に適応的である。
• レート (log n)^{-η/β} は最適であり、超滑らか誤差を伴うデコンボリューションにおける頻度的最小最大レートと一致する。
• カーネルベースのデコンボリューション推定量のタイトな集中境界が導出され、これは独立に価値のある結果であり、事後収束証明に用いられる。
• 証明は、Talagrandの不等式および経験過程のモーメントバウンドを用いて、KLダイバージェンスおよびエントロピー条件の検証に依存する。
• 加速レートのための条件下では、誤差分散 σ_n ≍ n^{-1/(2η+1)}(log n)^{t/η} で t > (2 + 1/η + 1/c_3)/(2 + 1/η) が成り立つ場合、事後分布はレート n^{-η/(2η+1)}(log n)^t に収束し、標準的密度推定のレートと一致する。