[論文レビュー] Bayes procedures for adaptive inference in inverse problems for the white noise model

B. T. Knapik, Botond Szabó+2 more|arXiv (Cornell University)|Sep 17, 2012

Statistical Methods and Inference参考文献 31被引用数 10

ひとこと要約

本稿は、未知のパラメータの滑らかさに関する事前知識が不要な状況において、白ノイズモデル下で、経験的および階層ベイズ手順が、やや不適切な逆問題において、適応的に最適収束速度を達成することを確立している。超パrameterでインdex付けられた事前分布のクラスを用いることで、両手法は自動的に正則化のための滑らかさ超パrameterを選択し、ソボレフおよび解析的滑らかさクラスに対して最小最大最適な収束速度を達成する。

ABSTRACT

We study empirical and hierarchical Bayes approaches to the problem of estimating an infinite-dimensional parameter in mildly ill-posed inverse problems. We consider a class of prior distributions indexed by a hyperparameter that quantifies regularity. We prove that both methods we consider succeed in automatically selecting this parameter optimally, resulting in optimal convergence rates for truths with Sobolev or analytic "smoothness", without using knowledge about this regularity. Both methods are illustrated by simulation examples.

研究の動機と目的

• 真のパラメータの滑らかさが未知である非パラメトリック逆問題において、適応的かつレート最適な推論を達成するという課題に対処すること。
• 経験的および階層ベイズ手法が、逆問題を最適に正則化する超パrameterを自動的に選択できるかどうかを調査すること。
• 真の滑らかさがソボレフまたは解析的滑らかさクラスに属する場合、両手法が最小最大最適な収束速度を達成することを証明すること。この際、真の正則性に関する事前知識は必要としない。
• 経験的および階層ベイズ手法が逆問題に適用される理論的根拠を提供し、それらの適応的性質に関する文献の空白を埋めること。

提案手法

• 白ノイズモデルの定式化を用いる：$ Y_i = \kappa_i \mu_i + \frac{1}{\sqrt{n}} Z_i $、ここで $ \kappa_i \sim i^{-p} $ であり、これはやや不適切な逆問題をモデル化する。
• 滑らかさを制御する超パrameterでインデックス付けられたガウス事前分布のクラスを採用する。
• 経験的ベイズを適用し、データの周辺尤度から超パrameterを推定する。
• 階層ベイズを適用し、超パrameterに事前分布を置き、周辺化することで事後分布を導出する。
• 収束速度の分析には、ソボレフおよび解析的滑らかさクラスを用い、両手法が最小最大下界に達することを示す。
• 特異値分解を用いて逆問題を正規平均モデルに還元し、高次元統計における標準的手法の適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 経験的ベイズ手法は、逆問題における最適収束速度に至るような滑らかさ超パrameterを、自動的に選択できるか？
• RQ2 階層ベイズ手順は、真のパラメータの滑らかさに関する事前知識がなくても、適応的かつレート最適な推論を達成できるか？
• RQ3 白ノイズモデル下でやや不適切な逆問題に対して、経験的および階層ベイズ手法が達成する理論的収束速度は何か？
• RQ4 固定事前分布を用いたベイズ的手法と比較して、これらの手法は適応性および事前分布の不一致に対するロバストネスにおいてどのように異なるか？
• RQ5 ソボレフおよび解析的滑らかさクラスに対して、調整なしに経験的および階層ベイズ手法が最小最大最適なレートを達成できるか？

主な発見

• 経験的ベイズ手順は、滑らかさがソボレフクラスに属する真の値に対して、最小最大最適な収束速度 $ n^{-\beta/(1+2\beta+2p)} $ を達成し、$ \beta $ の知識がなくてもよい。
• 階層ベイズ手順も、滑らかさがソボレフクラスに属するパラメータに対して、同じ最小最大最適レートを達成し、適応的推論を示している。
• 解析的滑らかさクラスでは、両手法とも最小最大レート $ n^{-1/2} \log^{1/2+p} n $ を達成しており、滑らかさに関する事前知識がなくてもよい。
• 理論的分析により、両手法が真の正則性に一致する超パrameterを自動的に選択することが確認され、事前分布の不一致による劣化したレートを回避している。
• 収束速度の結果は、$ i^r + n $ を含む和の評価を用いて導出されており、積分および級数推定を用いて対数項およびべき乗項を厳密に制御している。
• 本稿は、経験的または階層ベイズによる超パrameter選択が、真の滑らかさが未知であっても、最小最大レートでの事後分布の集中をもたらすことを確立している。