[論文レビュー] A Moreau-Yosida approximation scheme for a class of high-dimensional posterior distributions

Yves F. Atchadé|arXiv (Cornell University)|May 26, 2015

Bayesian Methods and Mixture Models参考文献 48被引用数 8

ひとこと要約

本稿では、スパイクアンドスラブなどの正確なスパarsity誘導型事前分布によって生じる高次元の事後分布に対して、Moreau-Yosidaに基づく平滑化近似を提案する。この手法は、ユーザーが定義するパrameter $ \gamma $ を用いて制御可能な精度を維持しつつ、$ \beta $-距離において $ O(\tilde{\gamma}^{1/2}) $ の近似誤差を達成する。これにより、効率的なMCMCサンプリングが可能となり、高次元線形回帰における最適な事後分布収縮率が達成される。

ABSTRACT

Exact-sparsity inducing prior distributions in Bayesian analysis typically lead to posterior distributions that are very challenging to handle by standard Markov Chain Monte Carlo (MCMC) methods, particular in high-dimensional models with large number of parameters. We propose a methodology to derive smooth approximations of such posterior distributions that are, in some cases, easier to handle by standard MCMC methods. The approximation is obtained from the forward-backward approximation of the Moreau-Yosida regularization of the negative log-density. We show that the derived approximation is within $O(\sqrtγ)$ of the true posterior distribution in the $β$-metric, where $γ>0$ is a user-controlled parameter that defines the approximation. We illustrate the method with a high-dimensional linear regression model.

研究の動機と目的

• スパイクアンドスラブなどの正確なスパarsity誘導型事前分布を有する高次元モデルにおける事後推論の計算的非実行性に対処すること。
• 最適な事後分布収縮性を保持しつつ、真の事後分布の滑らかで取り扱いやすい近似を構築すること。
• 非滑らかで非凸な事後分布の目標関数を滑らかで正則化された形に変換することで、標準的なMCMC手法による効率的なサンプリングを可能にすること。
• 近似の誤差境界をユーザーが制御可能とすることで、精度に関する理論的保証を提供すること。
• 既存手法（マージナル化やトランス次元MCMC）の制限を超えて、ガウス型尤度や重たい尾を持つスラブに限定されない応用範囲を拡張すること。

提案手法

• 本手法は、事後分布の負の対数密度にMoreau-Yosida正則化を適用し、非滑らかで非凸な関数を滑らかで凸な近似に変換する。
• 前向き・後ろ向き分割フレームワークを用いてMoreau-Yosidaエンvelopeを計算し、元の対数密度の正則化代替関数として機能させる。
• 得られる近似事後分布 $ \check{\Pi}_{\gamma}(\cdot|z) $ は、$ \exp(-\varrho_{\gamma}(z)) $ に比例する。ここで $ \varrho_{\gamma} $ は、負の対数尤度と事前分布のMoreau近似である。
• 近似誤差は、$ \gamma > 0 $ を滑らかさと精度を制御する調整パrameterとして、$ \beta $-距離において $ O(\sqrt{\gamma}) $ で有界である。
• 本手法は、ラプラス型事前分布を用いた高次元線形回帰に適用され、滑らかさと対数凸性のおかげで標準MCMCに適した形を保つ。
• 理論的分析では、設計行列の正則性条件下で、Radon-Nikodym微分の濃縮不等式とモーメントバウンドを用いて近似誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 正確なスパarsity誘導型事前分布を有する高次元事後分布に対して、MCMCに適した滑らかな近似を構築可能か？
• RQ2 ユーザーが制御可能なパrameter $ \gamma $ を用いた場合、真の事後分布とMoreau-Yosida近似との間の理論的誤差境界は何か？
• RQ3 この近似は、高次元線形モデルにおいて最適な事後分布収縮率を保持するか？
• RQ4 本手法は、ガウス型尤度やガウス型スラブに限定されず、重たい尾を持つスラブ密度に対しても適用可能か？
• RQ5 トランス次元サンプリングや変分法と比較して、MCMCの混合性と計算スケーラビリティの観点から、近似の性能はいかがなものか？

主な発見

• Moreau-Yosida近似は、真の事後分布 $ \check{\Pi}(\cdot|z) $ と近似事後分布 $ \check{\Pi}_{\gamma}(\cdot|z) $ の間で、$ \beta $-距離において $ O(\sqrt{\gamma}) $ の誤差境界を達成する。ここで $ \gamma > 0 $ はユーザーが制御可能なパrameterである。
• パラメータ数 $ d $ が標本サイズ $ n $ と共に増大しても、高次元パラメータ空間全体にわたり、誤差が一様に制御可能である。
• 元の非滑らかな事後分布を滑らかで対数凸なターゲットに変換することで、トランス次元移動を回避し、効率的なMCMCサンプリングが可能になる。
• 有界な固有値を有する $ X^\top X $、スパarsity $ s_\star \ll n $、および $ \lambda_1 = 4\sigma\sqrt{\bar{\kappa}(1)n\log d} $ の正則性条件下で、理論的保証が確立される。
• 重たい尾を持つスラブ密度に対しても近似が有効であり、最適な事後分布収縮率を達成することが知られているため、マージナル化に基づく手法の主な制限を克服する。
• 高次元性に対してロバストであることが、境界 $ \log \mathbb{E}[e^{\varrho_{\gamma}(Z)} \mathbf{1}_{\mathcal{E}}(Z)] \leq -\log(\pi_{\delta_\star}) + O(s_\star \log d) + O(\gamma \cdot \text{Tr}(X^\top X)) $ によって示され、高次元漸近的条件下でも制御可能である。