[論文レビュー] Maximum likelihood estimation of regularisation parameters in high-dimensional inverse problems: an empirical Bayesian approach. Part II: Theoretical Analysis

Valentin De Bortoli, Alain Durmus+2 more|arXiv (Cornell University)|Aug 13, 2020

Numerical methods in inverse problems参考文献 47被引用数 4

ひとこと要約

本稿は、高次元の逆問題における正則化パラメータの最尤推定のための確率的近似近位勾配法について、厳密な理論的分析を提供する。弱いが検証可能な条件下で、アルゴリズムのほとんど確実収束を確立し、明示的な非漸近的収束レートを提示する。不正確な近位MCMCサンプラー（特に近位ランジュアンアルゴリズム）を用いることで、高次元におけるスケーラブルで理論的裏付けのある最適化を実現する。

ABSTRACT

This paper presents a detailed theoretical analysis of the three stochastic approximation proximal gradient algorithms proposed in our companion paper [49] to set regularization parameters by marginal maximum likelihood estimation. We prove the convergence of a more general stochastic approximation scheme that includes the three algorithms of [49] as special cases. This includes asymptotic and non-asymptotic convergence results with natural and easily verifiable conditions, as well as explicit bounds on the convergence rates. Importantly, the theory is also general in that it can be applied to other intractable optimisation problems. A main novelty of the work is that the stochastic gradient estimates of our scheme are constructed from inexact proximal Markov chain Monte Carlo samplers. This allows the use of samplers that scale efficiently to large problems and for which we have precise theoretical guarantees.

研究の動機と目的

• 高次元の逆問題におけるマージナル尤度最適化のための一般化された確率的近似スキームのほとんど確実収束を確立すること。
• 提案されたアルゴリズムの非漸近的収束レートを、容易に検証可能な条件とともに提供すること。
• 勾配推定に不正確な近位MCMCサンプラー（例：MYULA）を用いる手法の収束を分析すること。
• 共同論文に記載された3つの特定のアルゴリズムを特別な場合として含む、理論的枠組みの一般化を図ること。
• 正則化パラメータ選択が極めて重要な不適切に定式化された、または悪条件な画像復元問題における最適化の理論的保証を確保すること。

提案手法

• 後方分布および事前分布を標的にする不正確なMCMCサンプラー（Xn,k）および（X̄n,k）を用いた一般化された確率的近似スキームを提案：θn+1 = ΠΘ[θn − δn+1/mn ∑(g(Xn,k) − g(X̄n,k))]。
• 全変動やℓ1ノルムのような微分不能な正則化子を扱うために、近位ランジュアンサンプラー（例：MYULA）を用い、高次元におけるスケーラビリティを確保する。
• バイアスと分散を制御した不正確なMCMCサンプラーを採用し、近位ステップを含む一般化された未調整ランジュアンアルゴリズム（ULA）に基づくものとする。
• フィッシャーの恒等式を用いて、対数マージナル尤度の勾配を期待値の差として表現し、MCMCサンプルによる推定を実施する。
• ステップサイズの系列とバッチサイズに関する条件を満たすことで、確率的近似理論の枠組みを用いて収束を確立する。
• Kullback-Leibler発散の遷移核間の距離を分析し、一般化されたピンスカー不等式とリャプノフ関数を用いて収束レートの明示的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 確率的近似スキームが、マージナル尤度最大化問題の解にほとんど確実に収束する条件は何か？
• RQ2 アルゴリズムの非漸近的収束レートは何か？ そして、ステップサイズとバッチサイズの系列にどのように依存するか？
• RQ3 不正確な近位MCMCサンプラーの使用は、最適化スキームの収束特性にどのように影響するか？
• RQ4 理論的枠組みを、共同論文に記載された複数のアルゴリズムを特別な場合として含むように拡張可能か？
• RQ5 高次元で微分不能な設定において、近位ランジュアンサンプラーを用いる場合の収束に必要な最小で検証可能な仮定は何か？

主な発見

• 提案された確率的近似スキームは、弱い積分可能性および正則性条件のもとで、マージナル尤度最大化問題の解にほとんど確実に収束する。
• ステップサイズの系列（δn）、バッチサイズ（mn）、およびMCMCサンプラーの混合性に依存する明示的なバウンドを伴う非漸近的収束レートが確立された。
• 適切なステップサイズおよびバッチサイズの選択のもとで、収束レートはO(1/√n)であることが示され、ターゲット分布のスペクトルギャップおよびログソボレフ定数に明示的な依存関係を示す。
• 不正確な近位MCMCサンプラー（例：MYULA）の使用は理論的に正当化され、勾配推定のバイアスおよび分散に、MCMC反復回数に従って減少するバウンドが得られた。
• 全変動やℓ1のような微分不能な正則化子を有する広範な画像復元問題クラスに理論が適用可能であり、高次元設定におけるスケーラブルでロバストなパrameter推定を可能にする。
• 標準版および近位版の未調整ランジュアンアルゴリズムの両方について、ステップサイズおよび正則化パrameterに明示的な依存関係を伴う理論的保証が確立された。