[논문 리뷰] Convergence Rate Analysis of a Stochastic Trust Region Method for Nonconvex Optimization

José Blanchet, Coralia Cartis외 2명|arXiv (Cornell University)|2016. 09. 23.

Stochastic Gradient Optimization Techniques인용 수 22

한 줄 요약

이 논문은 노이즈가 있는 기울기 및 목적 함수 평가를 수용할 수 있도록 동적으로 정확도를 조정하는 확률적 튜너지 영역 방법을 제안한다. 온화한 오차 가정 하에 ∥∇f(x)∥ ≤ ε를 달성하기 위한 기대 반복 복잡도가 O(ε⁻²)임을 입증하며, 비볼록 최적화에 대한 튜너지 영역 방법을 실용적인 기계학습 응용에 부합하는 확률적 환경으로 확장한다.

ABSTRACT

We introduce a variant of a traditional trust region method which is aimed at stochastic optimization. While traditional trust region method relies on exact computations of the gradient and values of the objective function, our method assumes that these values are available up to some dynamically adjusted accuracy. Moreover, this accuracy is assumed to hold only with some sufficiently large, but fixed, probability, without any additional restrictions on the variance of the errors. We show that our assumptions apply to the standard stochastic setting assumed in the machine learning problems, but also include more general settings. We then proceed to provide a bound on the expected number of iterations the stochastic algorithm requires to reach accuracy $\| abla f(x)\|\leq \epsilon$, for any $\epsilon>0$. The resulting bound is $O(\epsilon^{-2})$, under the assumption of sufficiently accurate stochastic gradient.

연구 동기 및 목표

• 정확한 값이 필요하지 않고, 노이즈가 있는 기울기 및 목적 함수 평가를 허용하는 튜너지 영역 방법을 개발하는 것.
• 비볼록 최적화 환경에서 이러한 확률적 튜너지 영역 방법의 수렴 속도를 분석하는 것.
• 오차 분포에 대한 최소한의 가정 하에 반복 복잡도의 경계를 설정하는 것, 특히 유한 분산과 고확률 정확도를 포함한다.
• 기울기가 노이즈가 있는 방식으로 추정되는 표준 기계학습 환경에 적용 가능함을 보여주는 것.
• 목표 기울기 노름 임계값 ∥∇f(x)∥ ≤ ε에 도달하기 위해 필요한 반복 횟수의 기대값에 대한 이론적 보장을 제공하는 것.

제안 방법

• 반복 과정에서 정확도가 동적으로 조정되는, 근사 기울기 및 목적 함수 값 사용을 위한 확률적 튜너지 영역 알고리즘을 도입한다.
• 목적 함수의 이차 모델을 포함하는 하위문제를 통해 단계 크기를 제어하는 튜너지 영역 프레임워크에 기반한다.
• 기울기 및 목적 함수 평가가 높은 확률로 정확하다고 가정한다(0에서 벗어난 유한한 확률), 유한 분산을 요구하지 않는다.
• 오차가 고정된, 충분히 높은 확률로 유한하게 제한되는 확률적 오라클 모델을 사용한다.
• 스티프트 추정의 품질에 따라 적응하는 선 탐색 또는 튜너지 영역 업데이트 전략을 적용한다.
• 정확도 확률을 활용하여 기대 개선도를 경계함으로써, 기대 진전량에 기반한 수렴 분석을 수행한다.

실험 결과

연구 질문

• RQ1 기울기 및 목적 함수 값이 노이즈가 있는 방식으로 추정될 때, 튜너지 영역 방법의 기대 반복 복잡도는 무엇인가?
• RQ2 스티프트 추정의 정확도는 비볼록 최적화에서 수렴에 어떤 영향을 미치는가?
• RQ3 고확률 정확도를 보장하지만 유한 분산이 보장되지 않는 설정으로 튜너지 영역 프레임워크를 확장할 수 있는가?
• RQ4 스티프트 튜너지 영역 방법이 주어진 기울기 노름 임계값 ∥∇f(x)∥ ≤ ε을 달성하기 위해 어떤 조건을 필요로 하는가?
• RQ5 현실적인 스티프트 가정 하에, 결정론적 튜너지 영역 방법과 비교해 수렴 보장을 유지하는가?

주요 결과

• 제안된 스티프트 튜너지 영역 방법은 충분히 정확한 스티프트 기울기 가정 하에 ∥∇f(x)∥ ≤ ε에 도달하기 위한 기대 반복 복잡도가 O(ε⁻²)임을 확보한다.
• 스티프트 오차의 분산이 유한하다는 가정 없이도 수렴 속도 경계가 유지되며, 오직 고확률 정확도만 요구한다.
• 기울기가 미니배치를 통해 추정되는 표준 기계학습 환경에 적용 가능하여 실용적 관련성을 입증한다.
• 분석 결과, 스티프트 추정의 오차 분포에 대해 최소한의 가정 하에서도 알고리즘이 수렴을 유지함을 보여준다.
• O(ε⁻²) 복잡도는 스티프트 비볼록 최적화에서 알려진 최고 수준의 속도와 일치하며, 다른 최첨단 방법들과의 경쟁력을 입증한다.
• 오차의 정확도 확률이 고정되고 충분히 높을 경우, 오차 분산이 유한하다는 조건 없이도 결과가 성립한다.