[論文レビュー] Scale-ratio Asymptotics in Nonparametric Minimax Estimation

Keisuke Yano, Fumiyasu Komaki|arXiv (Cornell University)|Sep 4, 2016

Statistical Methods and Inference被引用数 1

ひとこと要約

本稿では、未知の滑らかさと半径を有するソボレフ楕円体上の関数に対するベイズ非パラメトリック推定法を提案し、これらのパrameterに関する事前知識がなくても最小最大リスクを普遍定数の誤差内に達成する。滑らかさとノイズ分散に対する半径の二乗比の共同的影響を定量化するリスクバウンドを確立し、大標本においてレート・エクサクトな最小最大適応性を実現するとともに、非パラメトリック回帰へと拡張可能である。

ABSTRACT

This paper studies a Bayesian approach to non-asymptotic minimax adaptation in nonparametric estimation. Estimating an input function on the basis of output functions in a Gaussian white-noise model is discussed. The input function is assumed to be in a Sobolev ellipsoid with an unknown smoothness and an unknown radius. Our purpose in this paper is to present a Bayesian approach attaining minimaxity up to a universal constant without any knowledge regarding the smoothness and the radius. Our Bayesian approach provides not only a rate-exact minimax adaptive estimator in large sample asymptotics but also a risk bound for the Bayes estimator quantifying the effects of both the smoothness and the ratio of the squared radius to the noise variance, where the smoothness and the ratio are the key parameters to describe the minimax risk in this model. Application to non-parametric regression models is also discussed.

研究の動機と目的

• 未知の滑らかさと半径を有する非パラメトリック関数推定において、適応可能なベイズ推定量を開発すること。
• 滑らかさや楕円体の半径に関する事前知識がなくても、最小最大リスクを普遍定数の誤差内に達成すること。
• 滑らかさとノイズ分散に対する半径の二乗比の共同的影響が推定リスクに与える影響を定量化すること。
• 非パラメトリック回帰モデルへこの手法を拡張すること。

提案手法

• 入力関数の観測機構を表すためにガウス白色雑音モデルを用いる。
• 未知の滑らかさと未知の半径を有するソボレフ楕円体に階層ベイズ的事前分布を適用する。
• 滑らかさとノイズ分散に対する半径の二乗比に依存する、ベイズ推定量のリスクバウンドを導出する。
• 推定量の漸近的挙動を分析するためにスケール比漸近論を用いる。
• 事前ハイパーパrameterをデータ駆動のスケール比とバランスさせることで、普遍定数の誤差内での最小最大性を確立する。
• 適切な変換を介して回帰モデルと白色雑音モデルを結びつけることで、非パラメトリック回帰モデルへフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 未知のソボレフ楕円体の滑らかさと半径に関する知識がなくても、ベイズ推定量が普遍定数の誤差内に最小最大リスクを達成できるか？
• RQ2 関数の滑らかさとノイズ分散に対する半径の二乗比が、共同的に最小最大リスクに与える影響は何か？
• RQ3 スケール比漸近論は、非パラメトリック推定におけるレート・エクサクトな最小最大適応性を達成するために果たす役割は何か？
• RQ4 提案されたベイズ的手法は、類似のリスク保証を持つ非パラメトリック回帰モデルへ拡張可能か？

主な発見

• 滑らかさや半径に関する事前知識がなくても、ベイズ推定量は普遍定数の誤差内に最小最大リスクを達成する。
• 滑らかさとノイズ分散に対する半径の二乗比の両方に依存する、明示的なリスクバウンドが導出された。
• 大標本における漸近的条件下で、レート・エクサクトな最小最大適応性が達成され、非漸近的状況下での最適性が裏付けられた。
• フレームワークは非パラメトリック回帰モデルへ拡張可能であり、最小最大リスクの性質を保ったまま維持される。
• スケール比漸近論の枠組みは、推定誤差における滑らかさと信号強度の相互作用を効果的に捉えている。
• ベイズ的手法は、未知の正則性と信号サイズを同時に適応可能な統一的解決策を提供する。