[論文レビュー] On perturbed proximal gradient algorithms

Yves F. Atchadé, Gersende Fort+1 more|arXiv (Cornell University)|Feb 11, 2014

Stochastic Gradient Optimization Techniques参考文献 44被引用数 50

ひとこと要約

本稿では、ベイジアンネットワークや潜在変数を含むモデルで一般的に見られる高次元積分に起因して勾配が計算不能となる最適化問題に対して、MCMCを含むモンテカルロ法による勾配の近似を用いた摂動付きプロキシマル勾配法を提案する。反復回数が増加する場合と一定の場合の両方で収束性を確立し、平均化された反復点に対する非漸近的バウンドを提供する。また、バイアスあり・なしの両方のモンテカルロ近似をカバーする。

ABSTRACT

We study a version of the proximal gradient algorithm for which the gradient is intractable and is approximated by Monte Carlo methods (and in particular Markov Chain Monte Carlo). We derive conditions on the step size and the Monte Carlo batch size under which convergence is guaranteed: both increasing batch size and constant batch size are considered. We also derive non-asymptotic bounds for an averaged version. Our results cover both the cases of biased and unbiased Monte Carlo approximation. To support our findings, we discuss the inference of a sparse generalized linear model with random effect and the problem of learning the edge structure and parameters of sparse undirected graphical models.

研究の動機と目的

• ベイジアンネットワークや潜在変数を含むモデルで一般的に見られる高次元積分に起因して勾配が計算不能となる最適化問題に対処すること。
• 計算不能な勾配をモンテカルロ近似で置き換えるプロキシマル勾配法を構築し、推定誤差が存在しても収束することを保証すること。
• 反復回数が増加する場合と一定の場合の両方で、モンテカルロのバッチサイズが増加するか一定の状況下での収束性を理論的に保証すること。バイアスあり・なしの両方の近似をカバーする。
• 有限サンプルでの実装を支援するため、反復点の平均化バージョンに対する非漸近的 $L^q$-モーメントバウンドを導出すること。
• 実際の統計的問題への適用を検証すること：ランダム効果を含むスパース一般化線形モデルにおける推論、およびスパース無向グラフィカルモデルのエッジ構造の学習。

提案手法

• 真の勾配 $\nabla f(\theta_n)$ をモンテカルロ近似 $H_{n+1}$ で置き換えた摂動付きプロキシマル勾配法を提案し、標準的なプロキシマル勾配法の確率的変種を構築する。
• 非滑らかな正則化項を取り扱うために、プロキシマル写像 $\operatorname{Prox}_{\gamma,g}(\theta) = \arg\min_{\vartheta} \left\{ g(\vartheta) + \frac{1}{2\gamma} \|\vartheta - \theta\|^2 \right\}$ を用いる。
• ステップサイズ $\gamma_n \in (0, 2/L)$ とモンテカルロサンプルのバッチサイズに関する条件を満たすことで、勾配近似誤差が存在してもアルゴリズムの安定性を保証する。
• $L^q$-モーメントと誤差項の制御のため、ミンコフスキーおよびコーシー・シュワルツ不等式を適用し、非漸近的解析を可能にする。
• マルティンゲール差分列とモーメントバウンドを用いて、近似誤差に適切な条件が満たされれば、反復点のほとんど確実収束を証明する。
• 重み付きの勾配近似誤差と安定性項の和を用いて、平均化された反復点と最適解との期待誤差のバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 ステップサイズとモンテカルロバッチサイズがどのような条件下で、摂動付きプロキシマル勾配法が $F = f + g$ の最小化点に収束するか。
• RQ2 勾配のバイアスあり・なしモンテカルロ近似が、プロキシマル勾配法の収束性と安定性にどのように影響を与えるか。
• RQ3 ノイズのある勾配推定が存在する状況下で、反復点の平均化バージョンに対する非漸近的 $L^q$-モーメントバウンドを導出できるか。
• RQ4 勾配がMCMCサンプリングによって推定される場合、アルゴリズムの収束に対してどのような理論的保証が得られるか。
• RQ5 理論的結果が、ランダム効果を含むスパース一般化線形モデルや無向グラフィカルモデルといった実世界の統計的モデルにどのように適用できるか。

主な発見

• ステップサイズ $\gamma_n$ が $ (0, 2/L) $ にあり、ゼロから離れている限り、モンテカルロ勾配近似が存在しても、摂動付きプロキシマル勾配法は最小化点にほとんど確実に収束する。
• 反復回数が増加する場合と一定の場合の両方で収束が保証され、バッチサイズが反復回数に対して十分に速く増加する限り成立する。
• 平均化された反復点に対する非漸近的 $L^q$-モーメントバウンドが導出され、最適解からの期待誤差がバッチサイズとステップサイズに依存するレートで減少することが示された。
• バイアスあり・なしの両方のモンテカルロ近似をカバーする分析により、尤度が計算不能な問題へのプロキシマル法の適用範囲が拡張された。
• 理論的枠組みは、2つの統計的問題に適用され、検証された：ランダム効果を含むスパース一般化線形モデルにおける推論、およびスパース無向グラフィカルモデルの構造とパラメータの学習。
• 本稿では、MCMCチェインの弱い正則性条件のもとで、勾配近似誤差の期待ノルムがモーメントバウンドによって制御されることを確立した。これにより、安定性と収束性が保証された。