[論文レビュー] On the Convergence of Stochastic Gradient Descent for Nonlinear Ill-Posed Problems

Bangti Jin, Zehui Zhou+1 more|arXiv (Cornell University)|Jul 6, 2019

Numerical methods in inverse problems参考文献 28被引用数 5

ひとこと要約

本稿は、ヒルベルト空間における非線形不適度逆問題に対して、確率的勾配降下法（SGD）の正則化性および収束速度を確立する。接線型コーン条件およびソース表現のもとで、事前停止ルールおよび範囲不変性のもとで収束を示し、SGDが大規模逆問題に対して有効であることを示している。

ABSTRACT

In this work, we analyze the regularizing property of the stochastic gradient descent for the efficient numerical solution of a class of nonlinear ill-posed inverse problems in Hilbert spaces. At each step of the iteration, the method randomly chooses one equation from the nonlinear system to obtain an unbiased stochastic estimate of the gradient, and then performs a descent step with the estimated gradient. It is a randomized version of the classical Landweber method for nonlinear inverse problems, and it is highly scalable to the problem size and holds significant potentials for solving large-scale inverse problems. Under the canonical tangential cone condition, we prove the regularizing property for a priori stopping rules, and then establish the convergence rates under suitable sourcewise condition and range invariance condition.

研究の動機と目的

• ヒルベルト空間における非線形不適度逆問題に対して、確率的勾配降下法（SGD）の正則化性を確立すること。
• 適切なソース条件および範囲不変性のもとで、事前停止ルールのもとでのSGDの収束速度を分析すること。
• 機械学習を超えたSGDの理論的理解を拡張し、大量のデータを伴う大規模逆問題への適用を目的とすること。
• 標準的な接線型コーン条件のもとで収束解析を厳密に行い、反復正則化と確率的最適化の間のギャップを埋めること。

提案手法

• SGDは、ノイズを含むデータ $ y^\delta $ を用いて、$ F_i(x) = y_i^\flat $, $ i=1,\dots,n $ の非線形作用素方程式系に適用される。各反復で1つの方程式を確率的に選択する。
• 各ステップで、1つの確率的に選択された方程式 $ F_{i_k}(x_k^\delta) $ を用いて、勾配推定値を計算することで、1反復あたりの計算コストを低減する。
• 更新則は $ x_{k+1}^\delta = x_k^\delta - \eta_k F_{i_k}'(x_k^\delta)^*(F_{i_k}(x_k^\delta) - y_{i_k}^\delta) $ であり、ランダム化されたランドウエーバー法に類似している。
• 収束解析は、接線型コーン条件、ソース表現、および範囲不変性に基づき、誤差伝播を制御する。
• 事前停止ルールが用いられ、累積誤差項に $ \varrho $, $ \delta $, ステップサイズ $ \eta_k $ を含む推定を用いて収束速度を導出する。
• 再帰的不等式およびベータ関数の性質を用いて理論的バウンドを導出し、$ k $ における誤差項の減衰率をきめ細かく制御する。

実験結果

リサーチクエスチョン

• RQ1 接線型コーン条件のもとで、確率的勾配降下法は非線形不適度逆問題に対して正則化性を示すか？
• RQ2 ソース表現および範囲不変性のもとで、このような問題に対してSGDが達成できる収束速度は何か？
• RQ3 誤差の減衰およびスケーラビリティの観点から、SGDの収束挙動は古典的ランドウエーバー反復と比べてどう異なるか？
• RQ4 適切なソース条件のもとで、事前停止ルールが真の解への収束を保証できるか？
• RQ5 非線形逆問題におけるSGDの収束速度の導出において、範囲不変性条件は果たす役割は何か？

主な発見

• 確率的勾配降下法は、接線型コーン条件および事前停止ルールのもとで、非線形不適度問題に対して正則化性を有する。
• ソース表現および範囲不変性のもとで、収束速度 $ O(k^{-\beta/2}) $ が $ \beta \in (0,1) $ に対して確立される。
• 誤差バウンドは、ソース条件パラメータ $ \varrho $、ノイズレベル $ \delta $、ステップサイズの減衰率 $ \eta_k \sim k^{-\alpha} $（$ \alpha \in (0,1) $）に依存する。
• 解析により、反復における累積誤差項が $ O((k+1)^{-\beta/2}) $ の速度で減衰することが示され、定数は問題パラメータおよび初期誤差に依存する。
• 範囲不変性条件により、フレシェ微分の範囲が反復全体にわたり安定することが保証され、収束速度の導出に不可欠である。
• 再帰的推定およびベータ関数の性質を用いて理論的バウンドが導出され、$ k $ における誤差項の減衰が明示的に制御されている。