[논문 리뷰] On the Convergence of Stochastic Gradient Descent for Nonlinear Ill-Posed Problems

Bangti Jin, Zehui Zhou외 1명|arXiv (Cornell University)|2019. 07. 06.

Numerical methods in inverse problems참고 문헌 28인용 수 5

한 줄 요약

이 논문은 힐버트 공간 내 비선형 불안정 역문제에 대해 확률적 경사하강법(SGD)의 정규화 성질과 수렴 속도를 확립한다. 탄성 원추 조건과 소스 표현 조건 하에서 사전 정지 규칙과 범위 불변성 조건 하에 수렴 속도를 증명하며, 대규모 역문제에 있어서 SGD의 효과성을 보여준다.

ABSTRACT

In this work, we analyze the regularizing property of the stochastic gradient descent for the efficient numerical solution of a class of nonlinear ill-posed inverse problems in Hilbert spaces. At each step of the iteration, the method randomly chooses one equation from the nonlinear system to obtain an unbiased stochastic estimate of the gradient, and then performs a descent step with the estimated gradient. It is a randomized version of the classical Landweber method for nonlinear inverse problems, and it is highly scalable to the problem size and holds significant potentials for solving large-scale inverse problems. Under the canonical tangential cone condition, we prove the regularizing property for a priori stopping rules, and then establish the convergence rates under suitable sourcewise condition and range invariance condition.

연구 동기 및 목표

• 비선형 불안정 역문제에 대해 힐버트 공간 내에서 확률적 경사하강법(SGD)의 정규화 성질을 확립하기.
• 적절한 소스 조건과 범위 불변성 조건 하에서 사전 정지 규칙에 따라 SGD의 수렴 속도를 분석하기.
• 기계학습을 초월하여 대규모 데이터를 가진 대규모 역문제에 대해 SGD의 이론적 이해를 확장하기.
• 기본 탄성 원추 조건 하에서 엄밀한 수렴 분석을 제공하여 반복적 정규화와 확률적 최적화 간 격차를 메우기.

제안 방법

• SGD는 노이즈가 있는 데이터 $ y^\delta $ 를 가진 비선형 연산자 방정식계 $ F_i(x) = y_i^\flat $, $ i=1,\dots,n $ 에 적용되며, 각 반복에서 한 방정식을 무작위로 샘플링한다.
• 각 단계에서, 방법은 오직 한 개의 무작위로 선택된 방정식 $ F_{i_k}(x_k^\delta) $ 를 사용하여 확률적 경사도 추정치를 계산함으로써 반복 비용을 감소시킨다.
• 업데이트 규칙은 $ x_{k+1}^\delta = x_k^\delta - \eta_k F_{i_k}'(x_k^\delta)^*(F_{i_k}(x_k^\delta) - y_{i_k}^\delta) $ 로, 랜덤화된 랜드웨버 방법과 유사하다.
• 수렴 분석은 오차 전파를 제어하기 위해 탄성 원추 조건, 소스 표현 조건, 범위 불변성을 기반으로 한다.
• 사전 정지 규칙이 사용되며, 누적 오차 항에 대한 추정치를 통해 수렴 속도를 유도한다. 이들 항은 $ \varrho $, $ \delta $, 그리고 단계 크기 $ \eta_k $ 를 포함한다.
• 재귀 부등식과 베타 함수의 성질을 이용하여 이론적 경계를 도출하며, $ k $ 에 따른 오차 항의 감쇠율을 철저히 제어한다.

실험 결과

연구 질문

• RQ1 탄성 원추 조건 하에서 비선형 불안정 역문제에 대해 확률적 경사하강법이 정규화 성질을 가지는가?
• RQ2 소스 표현 조건과 범위 불변성 조건 하에서 이러한 문제에 대해 SGD가 달성할 수 있는 수렴 속도는 무엇인가?
• RQ3 오차 감쇠와 확장성 측면에서 SGD의 수렴 행동은 전통적인 랜드웨버 반복과 어떻게 비교되는가?
• RQ4 적절한 소스 조건 하에서 사전 정지 규칙이 진짜 해로 수렴을 보장할 수 있는가?
• RQ5 범위 불변성 조건은 비선형 역문제에서 SGD의 수렴 속도 확보에 어떤 역할을 하는가?

주요 결과

• 확률적 경사하강법은 탄성 원추 조건과 사전 정지 규칙 하에서 비선형 불안정 문제에 대해 정규화 성질을 갖는다.
• 소스 표현 조건과 범위 불변성 조건 하에서 수렴 속도가 $ O(k^{-\beta/2}) $ 순서로 확립된다. 여기서 $ \beta \in (0,1) $ 이다.
• 오차 경계는 소스 조건 파라미터 $ \varrho $, 노이즈 수준 $ \delta $, 그리고 단계 크기 $ \eta_k \sim k^{-\alpha} $ 의 감쇠율에 따라 달라지며, $ \alpha \in (0,1) $ 이다.
• 분석 결과 누적 오차 항이 $ O((k+1)^{-\beta/2}) $ 의 속도로 감쇠함을 보이며, 이는 문제 파라미터와 초기 오차에 따라 결정되는 상수를 포함한다.
• 범위 불변성 조건은 프레셰 도함수의 범위가 반복 과정 전반에 걸쳐 안정적으로 유지됨을 보장하며, 이는 수렴 속도 유도에 필수적이다.
• 재귀적 추정치와 베타 함수의 성질을 이용하여 이론적 경계를 도출하였으며, $ k $ 에 따른 오차 항 감쇠율을 명시적으로 제어하였다.