[論文レビュー] Preconditioning the prior to overcome saturation in Bayesian inverse problems

Sergios Agapiou, Peter Mathé|arXiv (Cornell University)|Sep 23, 2014

Probabilistic and Robust Engineering Design参考文献 12被引用数 3

ひとこと要約

この論文は、真の解が事前分布が許容するよりも滑らかである場合に、後騒縮率が劣化するベイズ的逆問題における飽和現象を取り上げている。著者らは、データに依存する正則化ステップを用いて事前分布を前処理することで、非中心化事前分布を構築し、この制限を克服し、従来不可能とされた滑らかさの範囲でも最小最大最適な後騒縮率を達成する。

ABSTRACT

We study Bayesian inference in statistical linear inverse problems with Gaussian noise and priors in Hilbert space. We focus our interest on the posterior contraction rate in the small noise limit. Existing results suffer from a certain saturation phenomenon, when the data generating element is too smooth compared to the smoothness inherent in the prior. We show how to overcome this saturation in an empirical Bayesian framework by using a non-centered data-dependent prior. The center is obtained from a preconditioning regularization step, which provides us with additional information to be used in the Bayesian framework. We use general techniques known from regularization theory. To highlight the significance of the findings we provide several examples. In particular, our approach allows to obtain and, using preconditioning improve after saturation, minimax rates of contraction established in previous studies. We also establish minimax contraction rates in cases which have not been considered so far.

研究の動機と目的

• 真の解が事前分布よりも滑らかである場合に、後騒縮率が劣化するベイズ的逆問題における飽和現象を解消すること。
• データからの正則化情報を利用して事前分布を変更することで、微小ノイズ極限における後騒縮濃度を向上させること。
• 滑らかさの不一致により従来の手法が失敗する状況でも、最小最大最適な後騒縮率を確立すること。
• 正則化理論を通じて、さまざまな逆問題に一般に適用可能なフレームワークを提供すること。
• 前処理された事前分布が、従来不可能とされたとされる状況でさえも最適なレートの回復を可能にすることを示すこと。

提案手法

• データに基づく前処理正則化ステップを用いて平均をずらすことで、非中心化事前分布を導入する。
• ティコノフ型正則化を用いて、データに依存する事前分布の中心を計算し、真の解との整合性を高める。
• 一般正則化理論の技術を用いて、得られた後騒縮の挙動を分析する。
• 二乗後騒縮の分解をバイアス、分散、および後騒縮の広がりの成分に分けることで分析を行う。
• 微小ノイズ極限において、適切なパラメータ選択 α(δ) により、二乗バイアスと後騒縮の広がりの漸近的バランスを確立する。
• 作用素単調性およびトレース不等式を用いて、後騒縮の広がりをバインドし、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なベイズ的逆問題では、真の解が事前分布よりも滑らかである場合に飽和現象が生じるのか？
• RQ2 データに依存する事前分布は、標準的な事前分布の制限を超えて後騒縮率を向上させることができるか？
• RQ3 前処理されたフレームワークにおいて、バイアスと分散をバランスさせる最適なパrameter選択 α(δ) は何か？
• RQ4 なぜ前処理された事前分布により、従来不可能とされた滑らかさの範囲でも最小最大最適な後騒縮率が達成できるのか？
• RQ5 新しい事前分布構造下での後騒縮の広がりおよび後騒縮率の理論的限界は何か？

主な発見

• 提案された前処理済み事前分布は、ベイズ的逆問題における飽和現象を克服し、真の解が事前分布が許容するよりも滑らかであっても最適な後騒縮率を達成可能にする。
• 従来の標準的事前分布では到達不可能だった状況、特に真の解が事前分布よりも高い滑らかさを持つ場合でも、最小最大後騒縮率が達成される。
• トレース不等式および作用素単調性を用いて後騒縮の広がりがバインドされ、δ → 0 の極限で後騒縮が適切に集中することが保証される。
• 前処理された場合、最適なパrameter選択 α(δ) により二乗バイアスと後騒縮の広がりがバランスされ、例題4.8では後騒縮率が δ^{2β/(β+q)} のオーダーに達する。
• 前処理なしでは、到達可能な最良のレートは δ^{4q/(β+q)} であり、前処理ありの場合に比べて厳密に遅い。
• 本手法は一般性を持ち、ヒルバート空間における線形逆問題に広く適用可能であり、ガウスノイズおよびガウス事前分布を想定する。