[논문 리뷰] A Stochastic Trust Region Algorithm

Frank E. Curtis, Katya Scheinberg외 1명|arXiv (Cornell University)|2017. 12. 29.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 2

한 줄 요약

이 논문은 경사도 추정값의 노름이 사용자가 정의한 범위 내에 있을 경우 정규화된 스텝을 사용하는 확률적 튜링 영역 알고리즘을 제안한다. 이 알고리즘은 정규화된 스텝과 표준 스텝 사이를 동적으로 전환하며, 전통적인 확률적 경사하강 방법과 유사한 수렴 속도를 달성하면서도 수치 실험에서 볼록 및 비볼록 기계학습 문제에서 뛰어난 성능을 보인다.

ABSTRACT

An algorithm is proposed for solving stochastic and finite sum minimization problems. Based on a trust region methodology, the algorithm employs normalized steps, at least as long as the norms of the stochastic gradient estimates are within a user-defined interval. The complete algorithm---which dynamically chooses whether or not to employ normalized steps---is proved to have convergence guarantees that are similar to those possessed by a traditional stochastic gradient approach under various sets of conditions related to the accuracy of the stochastic gradient estimates and choice of stepsize sequence. The results of numerical experiments are presented when the method is employed to minimize convex and nonconvex machine learning test problems, illustrating that the method can outperform a traditional stochastic gradient approach.

연구 동기 및 목표

• 유한 합과 확률적 최소화 문제를 위한 강건한 확률적 최적화 알고리즘을 개발하기 위해.
• 경사도 추정값의 노름에 기반해 정규화된 스텝과 표준 스텝 사이에서 동적으로 선택함으로써 수렴 행동을 향상시키기 위해.
• 경사도 정확도와 스텝 크기 수열에 대한 현실적인 가정 하에 기존의 확률적 경사하강 방법과 유사한 이론적 수렴 보장을 유지하기 위해.
• 실제 기계학습 문제에서 표준 확률적 경사하강 접근법에 비해 알고리즘의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 알고리즘은 확률적 경사도 추정값의 노름에 따라 스텝을 조정하는 튜링 영역 프레임워크를 활용한다.
• 확률적 경사도 추정값의 노름이 사용자가 정의한 간격 내에 있을 경우 정규화된 스텝을 사용한다.
• 현재 경사도 추정값의 크기에 기반해 정규화된 스텝 또는 표준 스텝을 적용할지 동적으로 결정한다.
• 경사도 추정의 정확도와 스텝 크기 수열의 선택 조건에 기반해 수렴성을 분석한다.
• 이 조건 하에서 기존의 확률적 경사하강 방법과 유사한 수렴 보장을 보장한다.
• 수치 실험을 통해 볼록 및 비볼록 기계학습 테스트 문제에서 알고리즘의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 실제 경사도 정확도와 스텝 크기 조건 하에서, 튜링 영역 기반의 확률적 알고리즘이 표준 확률적 경사하강 방법과 유사한 수렴 속도를 유지할 수 있는가?
• RQ2 정규화된 스텝과 표준 스텝 사이의 동적 전환은 확률적 최적화에서 수렴성과 성능에 어떤 영향을 미치는가?
• RQ3 제안된 알고리즘이 볼록 및 비볼록 기계학습 문제에서 기존의 확률적 경사하강 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 사용자가 정의한 경사도 노름 간격은 알고리즘의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ5 확률적 경사도 노이즈의 수준이 다양할 경우 알고리즘은 어떻게 행동하는가?

주요 결과

• 경사도 정확도와 스텝 크기 수열에 대한 표준 가정 하에, 제안된 알고리즘은 기존의 확률적 경사하강 방법과 유사한 수렴 보장을 달성한다.
• 수치 실험 결과, 알고리즘이 볼록 및 비볼록 기계학습 테스트 문제에서 표준 확률적 경사하강 방법보다 뛰어난 성능을 보인다.
• 정의된 경사도 노름 간격 내에서 정규화된 스텝을 사용함으로써 안정성과 수렴 행동이 향상된다.
• 동적 스텝 선택은 이론적 수렴 성질을 훼손하지 않으면서 성능을 향상시킨다.
• 이 방법은 비볼록 최적화 과제가 기계학습에서 흔한 문제 유형임을 감안할 때 다양한 문제 유형에 대해 강건함을 보였다.