[논문 리뷰] Stochastic Trust Region Methods with Trust Region Radius Depending on Probabilistic Models

Xiaoyu Wang, Yifei Yuan|arXiv (Cornell University)|2019. 04. 06.

Stochastic Gradient Optimization Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 비선형, 볼록, 강한 볼록 설정에서 전역 수렴을 보장하는 스토하스틱 트러스트-레지온 방법인 STRME를 제안한다. 이 방법은 확률 모델의 기울기 크기에 기반해 트러스트-레지온 반경을 적응적으로 설정함으로써, 최신 알고리즘과 동일한 복잡도 한계를 달성하며, 기존의 스토하스틱 트러스트-레지온 및 기울기 방법보다 수치 실험에서 뛰어난 성능을 보인다.

ABSTRACT

We present a stochastic trust-region model-based framework in which its radius is related to the probabilistic models. Especially, we propose a specific algorithm, termed STRME, in which the trust-region radius depends linearly on the latest model gradient. The complexity of STRME method in non-convex, convex and strongly convex settings has all been analyzed, which matches the existing algorithms based on probabilistic properties. In addition, several numerical experiments are carried out to reveal the benefits of the proposed methods compared to the existing stochastic trust-region methods and other relevant stochastic gradient methods.

연구 동기 및 목표

• 기울기 추정치의 높은 분산으로 인해 스토하스틱 1차 방법의 수렴 속도가 느리고 성능이 열 劣하는 문제를 해결한다.
• 확률 모델 기울기의 동적 조정을 통해 트러스트-레지온 반경을 조절하는 트러스트-레지온 프레임워크를 개발하여 강건성과 수렴성을 향상시킨다.
• 비볼록, 볼록, 강한 볼록 설정에서 제안된 방법의 이론적 복잡도 한계를 수립하여 기존 최신 기술 결과와 일치시킨다.
• 로지스틱 회귀 및 딥 네ural 네트워크 문제에 대한 수치 실험을 통해 방법의 실용적 이점을 입증한다.
• 확률 모델 가정 하에 전역 수렴을 위한 이론적 보장을 제공하며, 트러스트-레지온 방법을 더 높은 적응성으로 스토하스틱 최적화에 확장한다.

제안 방법

• 확률 모델에 의존하는 반경을 갖는 스토하스틱 트러스트-레지온 방법인 STRME(Stochastic Trust-Region Method with probabilistic model-dependent radius)를 제안한다. 이때 트러스트-레지온 반경 δk는 δk = µk ∥gk∥로 설정되며, gk는 스토하스틱 기울기이고 µk는 스케일링 파라미터이다.
• 충분한 감소와 헤시안 근사치를 확보하기 위해 도그레그 및 L-SR1(한정된 메모리 대칭 순위-일) 업데이트 전략을 통합하여 탐색 단계를 계산한다.
• 작은 배치 샘플링을 통해 함수 및 기울기 값의 확률적 추정치를 사용하며, 분산을 줄이기 위해 샘플 크기를 적응적으로 제어한다.
• 모델에서 예측한 감소량 Pred에 기반한 트러스트-레지온 수락 기준을 적용한다. 이때 비율 ρk = (f(xk) - f(xk + dk)) / Pred로 정의된다.
• 적응형 선형 검색과 트러스트-레지온 반경 업데이트 규칙을 활용한다: ρk ≥ η1이면 µk를 증가시키고, 그렇지 않으면 감소시킨다.
• 유한한 분산 가정 하에 조건부 기대와 농도 불등식(예: 체비셰프)을 사용하여 이론적 수렴 보장을 유도한다.

실험 결과

연구 질문

• RQ1 확률 모델 기울기에 기반한 트러스트-레지온 반경을 갖는 트러스트-레지온 방법이 스토하스틱 비볼록 최적화에서 수렴을 향상시킬 수 있는가?
• RQ2 비볼록, 볼록, 강한 볼록 설정에서 이러한 방법의 이론적 복잡도는 무엇이며, 기존 최신 기술의 한계와 일치하는가?
• RQ3 실제로 모델 기울기 크기에 기반한 적응형 반경 메커니즘이 고정 또는 히우리스틱 반경 전략보다 어떻게 비교되는가?
• RQ4 제안된 방법이 확률 모델 추정치를 사용할 때 강한 볼록 설정에서 선형 수렴을 달성할 수 있는가?
• RQ5 실제 기계 학습 문제에서 STRME의 경험적 성능은 다른 스토하스틱 트러스트-레지온 및 적응형 기울기 방법과 비교해 어떻게 되는가?

주요 결과

• STRME는 비볼록, 볼록, 강한 볼록 설정 모두에서 전역 수렴을 달성하며, 최신 스토하스틱 알고리즘과 동일한 이론적 복잡도 한계를 확보한다.
• 강한 볼록 케이스에서 ε-최적화에 도달하기 위한 기대 반복 횟수는 E[Tε] ≤ (αβ / (2αβ - 1))(M log(1/ε) + O(1))로 유계이며, M는 문제의 조건수와 모델 파rameter에 따라 달라진다.
• 로지스틱 회귀 및 딥 네럴 네트워크 문제에 대한 수치 실험에서, 표준 스토하스틱 트러스트-레지온 및 적응형 기울기 방법보다 더 빠른 수렴 속도와 높은 강건성을 보였다.
• 트러스트-레지온 반경 δk = µk ∥gk∥는 현재 모델 기울기에 비례하여 탐색과 이용의 균형을 효과적으로 유지하며, 불필요한 단계를 줄이고 수렴 안정성을 향상시킨다.
• 이론적 분석은 유한한 분산과 확률 모델 가정 하에 방법이 수렴을 유지함을 확인하였으며, 조건부 기대와 농도 불등식을 사용해 엄밀한 한계를 도출하였다.
• 함수 및 기울기 값에 대한 확률적 추정치의 사용은 전체 기울기 계산 없이도 대규모 환경에서 효율적인 계산을 가능하게 하며, 온라인 및 미니배치 학습을 지원한다.