[논문 리뷰] Convergence Rate Analysis of a Stochastic Trust Region Method via Submartingales

José Blanchet, Coralia Cartis외 2명|arXiv (Cornell University)|2016. 09. 23.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 15

한 줄 요약

이 논문은 노이즈가 있는 적응형 추정을 고려한 trust-region 방법의 수렴 속도를 분석하기 위해 슈퍼마팅게일을 사용하는 새로운 스토케스틱 프로세스 프레임워크를 제안한다. 이는 $ε^{-2}$ 단위의 첫 번째 전역 복잡도 한계 $O(\epsilon^{-2})$를 확립하며, 추가적인 가정 하에 두 번째 차수 수렴을 위한 $O(\epsilon^{-3})$로 확장된다.

ABSTRACT

We propose a novel framework for analyzing convergence rates of stochastic optimization algorithms with adaptive step sizes. This framework is based on analyzing properties of an underlying generic stochastic process, in particular by deriving a bound on the expected stopping time of this process. We utilize this framework to analyze the bounds on expected global convergence rates of a stochastic variant of a traditional trust region method, introduced in \cite{ChenMenickellyScheinberg2014}. While traditional trust region methods rely on exact computations of the gradient, Hessian and values of the objective function, this method assumes that these values are available up to some dynamically adjusted accuracy. Moreover, this accuracy is assumed to hold only with some sufficiently large, but fixed, probability, without any additional restrictions on the variance of the errors. This setting applies, for example, to standard stochastic optimization and machine learning formulations. Improving upon the analysis in \cite{ChenMenickellyScheinberg2014}, we show that the stochastic process defined by the algorithm satisfies the assumptions of our proposed general framework, with the stopping time defined as reaching accuracy $\| abla f(x)\|\leq ε$. The resulting bound for this stopping time is $O(ε^{-2})$, under the assumption of sufficiently accurate stochastic gradient, and is the first global complexity bound for a stochastic trust-region method. Finally, we apply the same framework to derive second order complexity bound under some additional assumptions.

연구 동기 및 목표

• 스토케스틱 프로세스를 사용하여 적응형 스텝 사이즈를 갖는 스토케스틱 최적화 알고리즘의 수렴 속도를 분석하는 일반적인 프레임워크를 개발하기.
• 동적으로 정확도가 향상되는 기울기 및 헤시안 추정을 사용하는 스토케스틱 트러스트-레지온 방법의 기대 전역 수렴 속도를 분석하기.
• 편향 제약 없이 일반적인 노이즈 가정 하에 스토케스틱 트러스트-레지온 방법에 대한 첫 번째 전역 복잡도 한계를 확립하기.
• 추가적인 정규성 가정 하에 두 번째 차수 복잡도 한계를 유도하기 위해 프레임워크를 확장하기.
• 알고리즘이 결정론적 경우와 동일한 복잡도로 두 번째 차수 정적점으로 수렴함을 보여주기.

제안 방법

• 기울기, 헤시안 및 목적 함수 값이 시간이 지남에 따라 적응적으로 정확도가 향상되는 스토케스틱 트러스트-레지온 방법을 수립한다.
• 알고리즘에 의해 정의된 스토케스틱 프로세스의 기대 멈춤 시간을 제한하기 위해 슈퍼마팅게일 기반 프레임워크를 적용한다.
• 멈춤 시간을 $\|\nabla f(x)\| \leq \epsilon$에 도달하는 것으로 정의하며, 이는 첫 번째 차수 정적성에 해당한다.
• 리프시츠 상수 및 모델 정확도 파라미터에서 유도된 상수를 사용하여 리아푸노프 유형 함수 $\Phi_k$ 의 기대 감소를 유도한다.
• 스토케스틱 추정의 정확도에 대한 가정(예: $\epsilon_F$, $\eta_2$)을 사용하여 모델 품질을 제어하고 수렴을 보장한다.
• 프레임워크를 첫 번째 및 두 번째 차수의 경우에 모두 적용하여, 프로세스의 기대 멈춤 시간을 통해 복잡도 한계를 도출한다.

실험 결과

연구 질문

• RQ1 적응형 스토케스틱 최적화 알고리즘의 수렴 속도를 분석하기 위한 일반적인 스토케스틱 프로세스 프레임워크를 개발할 수 있는가?
• RQ2 기울기 및 헤시안 추정이 노이즈가 있지만 점차적으로 정확한 경우, 스토케스틱 트러스트-레지온 방법의 전역 수렴 복잡도는 무엇인가?
• RQ3 일반적인 노이즈 조건 하에서 스토케스틱 트러스트-레지온 방법은 결정론적 트러스트-레지온 방법과 동일한 수렴 속도를 달성하는가?
• RQ4 이 프레임워크를 확장하여 두 번째 차수 정적점으로의 수렴에 대한 두 번째 차수 복잡도 한계를 확립할 수 있는가?
• RQ5 스토케스틱 추정의 적응적 정확도가 알고리즘의 수렴 속도와 전체 복잡도에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 일반적인 노이즈 가정 하에 스토케스틱 트러스트-레지온 방법에 대해 첫 번째 전역 복잡도 한계 $O(\epsilon^{-2})$를 확립한다.
• 기울기 추정이 충분히 정확할 경우, $\|\nabla f(x)\| \leq \epsilon$을 달성하기 위한 기대 멈춤 시간 $\mathbb{E}[T_\epsilon]$은 $O(\epsilon^{-2})$ 이하로 제한된다.
• 두 번째 차수 수렴의 경우, 기대 멈춤 시간은 추가적인 가정 하에 $O(\epsilon^{-3})$ 이하로 제한되며, 결정론적 경우와 일치한다.
• 복잡도 한계는 리아푸노프 함수 $\Phi_k$ 의 슈퍼마팅게일 분석을 통해 도출되며, 리프시츠 상수 및 모델 정확도 파라미터에 따라 명시적인 상수가 포함된다.
• 완전한 기울기 계산이 필요 없기 때문에, 순수한 스토케스틱 및 대규모 머신러닝 환경에 적합하다.
• 프레임워크는 일반적이며 이미 다른 알고리즘(예: 스토케스틱 라인 서치)에 적용되어 광범위한 적용 가능성을 보여준다.