[논문 리뷰] Stochastic Optimization Using a Trust-Region Method and Random Models

Ruobing Chen, Matt Menickelly외 1명|arXiv (Cornell University)|2015. 04. 16.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 12

한 줄 요약

이 논문은 목적 함수의 랜덤 모델과 노이즈 있는 함수 추정치를 사용하는 신뢰역할 방법을 제안하며, 일반적인 조건 하에서 거의 확실한 전역 수렴을 달성하여 일阶 정류점에 수렴한다. 이 방법은 편향된 노이즈에 대해 강건하며, 수치 실험에서 전통적인 확률적 경사하강법 및 샘플 평균화 방법보다 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we propose and analyze a trust-region model-based algorithm for solving unconstrained stochastic optimization problems. Our framework utilizes random models of an objective function $f(x)$, obtained from stochastic observations of the function or its gradient. Our method also utilizes estimates of function values to gauge progress that is being made. The convergence analysis relies on requirements that these models and these estimates are sufficiently accurate with sufficiently high, but fixed, probability. Beyond these conditions, no assumptions are made on how these models and estimates are generated. Under these general conditions we show an almost sure global convergence of the method to a first order stationary point. In the second part of the paper, we present examples of generating sufficiently accurate random models under biased or unbiased noise assumptions. Lastly, we present some computational results showing the benefits of the proposed method compared to existing approaches that are based on sample averaging or stochastic gradients.

연구 동기 및 목표

• 오직 노이즈 있는 함수 값 또는 기울기 관측치만 제공되는 비제약 조건의 확률적 최적화 문제를 위한 신뢰역할 기반 최적화 프레임워크를 개발하는 것.
• 모델 및 추정치 정확도에 대한 약한 일반 조건 하에서 일阶 정류점으로의 전역 수렴 보장을 확립하는 것.
• 기존의 확률적 경사하강법 또는 샘플 평균화 방법과 달리 편향된 노이즈와 이상치에 대해 강건함을 입증하는 것.
• 기존의 방법들, 예를 들어 기계학습 환경에서의 Adagrad와의 실증적 비교를 수행하는 것.
• 모든 반복에서 높은 정확도의 모델이 필요로 하지 않음을 보여주어, 낮은 확률로 정확한 모델이 존재하는 경우에도 실용적인 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 알고리즘은 함수 값 또는 기울기의 랜덤하고 노이즈 있는 관측치를 사용하여 목적 함수의 국소 2차 모델을 구성한다.
• 스텝 크기를 결정하기 위해 신뢰역할 하위문제를 활용하여 모델 기반의 미리미터 함수에서 충분한 감소를 보장한다.
• 현재 점과 시험 점에서의 함수 추정치를 사용하여 진전을 모니터링하고 스텝을 수락하거나 거부한다.
• 모델가 일阶 정확도를 가지며, 함수 추정치가 고정된 높은 확률로 충분히 정확해야 하며, 이는 샘플링 메커니즘과 독립적이어야 한다.
• 편향 없는 노이즈나 특정한 샘플링 분포를 가정하지 않아 모델 생성의 유연성을 보장한다.
• 기계학습에서의 경험적 리스크 최소화 문제에 이 프레임워크를 적용하여 확률적 헤시안 및 기울기 추정치를 사용한다.

실험 결과

연구 질문

• RQ1 오직 노이즈 있는 함수 값과 기울기 관측치만 존재하는 경우, 신뢰역할 방법을 확률적 최적화에 적응시킬 수 있는가?
• RQ2 모델 및 추정치 정확도에 대한 최소한의 확률적 조건은 무엇이어야 하며, 이는 일阶 정류점으로의 전역 수렴을 보장하는가?
• RQ3 편향된 노이즈 하에서 기존의 확률적 경사하강법 및 샘플 평균화 방법과 비교해 실제로 어떻게 성능을 발휘하는가?
• RQ4 모델이 개별 반복에서 낮은 확률로만 정확할 경우에도 성능이 우수할 수 있는가?
• RQ5 대규모 데이터셋을 가진 로지스틱 회귀와 같은 기계학습 문제에 대해 이 방법이 잘 일반화되는가?

주요 결과

• 모델 및 추정치 정확도에 대한 미약하고 일반적인 조건 하에서, 이 방법은 거의 확실한 전역 수렴을 일阶 정류점으로 달성한다.
• 수치 실험에서 STORM은 모델 정확도가 약 27%인 경우에도 10차원 이차 문제의 100%를 정확도 <10−5로 해결했다.
• 로지스틱 회귀 문제에서 STORM은 안정적이고 감소하는 학습 및 테스트 손실 경로를 보였으며, 수렴 안정성과 일반화 능력에서 Adagrad를 모두 뛰어넘었다.
• 표준적인 확률적 경사하강법 또는 샘플 평균화 방법과 달리, 편향된 노이즈 하에서도 효과적인 성능 유지를 보였다.
• 이론적 예측에서 요구하는 모델 정확도는 과도하게 보수적이었으며, 실질적으로 낮은 정확도 수준에서도 성능이 우수했다.
• 이 방법은 이상치에 강건하며, 기존의 확률적 경사하강법과 달리 스텝 크기 수열의 튜닝이 필요로 하지 않는다.