[논문 리뷰] Stochastic Recursive Momentum Method for Non-Convex Compositional Optimization

Huizhuo Yuan, Wenqing Hu|arXiv (Cornell University)|2020. 06. 01.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 8

한 줄 요약

이 논문은 형태 $\min_x f(g(x))$의 비볼록 조합 최적화 문제를 위한 새로운 단일루프 확률적 최적화 알고리즘인 STORM-Compositional을 제안한다. 여기서 $f$와 $g$는 확률적 함수의 기댓값이다. 지수이동평균를 통해 재귀적 분산감소 조합 기울기 업데이트에 동량을 통합함으로써, STORM-Compositional은 $\mathcal{O}(\varepsilon^{-3})$의 증분 제1차 오ракル(IFO) 복잡도를 달성하며, 기존의 최고 수준의 복잡도 상한과 일치한다. 또한 배치 크기 조정과 체크포인트 기울기 저장이 필요로 하지 않다.

ABSTRACT

We propose a novel stochastic optimization algorithm called STOchastic Recursive Momentum for Compositional (STORM-Compositional) optimization that minimizes the composition of expectations of two stochastic functions, the latter being an optimization problem arising in various important machine learning applications. By introducing the momentum term in the compositional gradient updates, STORM-Compositional operates the stochastic recursive variance-reduced compositional gradients in an exponential-moving average way. This leads to an $O(\varepsilon^{-3})$ complexity upper bound for STORM-Compositional, that matches the best known complexity bounds in previously announced compositional optimization algorithms. At the same time, STORM-Compositional is a single loop algorithm that avoids the typical alternative tuning between large and small batch sizes, as well as recording of checkpoint gradients, that persist in variance-reduced stochastic gradient methods. This allows considerably simpler parameter tuning in numerical experiments, which demonstrates the superiority of STORM-Compositional over other stochastic compositional optimization algorithms.

연구 동기 및 목표

• 분산 감소 확률적 조합 최적화 알고리즘에서 큰 배치와 작은 배치를 번갈아 사용하는 방식으로 인한 높은 파rameter 민감도 문제를 해결한다.
• 기존 분산 감소 방법에서 흔한 체크포인트 기울기 저장이 필요 없도록 한다.
• 단일루프 알고리즘을 개발하여, 수렴 효율성을 희생시키지 않은 채 최적의 $\mathcal{O}(\varepsilon^{-3})$ IFO 복잡도를 유지한다.
• 동량 기반 재귀 기울기 업데이트를 통해 하이퍼파rameter 조정을 단순화함으로써 실용성 향상을 도모한다.
• 스토케스틱 이웃 임bed딩과 포트폴리오 관리와 같은 실제 문제에서 뛰어난 경험적 성능을 입증한다.

제안 방법

• 분산 감소를 위한 지수이동평균 방식의 재귀적 동량 업데이트 메커니즘을 도입하여 조합 기울기의 분산을 줄인다.
• 확률적 추정치 $g$, $\partial g$, $\nabla f$를 사용하여 조합 기울기 추정치 $\widehat{\nabla \Phi}(x) = (\widehat{\partial g})^T \widehat{\nabla f}(\widehat{g})$를 구성한다.
• STORM(Stochastic Recursive Momentum) 프레임워크를 조합 설정에 적용하여, 표준 분산 감소 대신 동량 기반 재귀 업데이트를 사용한다.
• 큰 배치와 작은 배치를 번갈아 사용하지 않는 단일루프 아키텍처를 사용하여 구현과 조정을 단순화한다.
• 기존의 역사적 체크포인트를 저장할 필요 없이 재귀적으로 기울기 추정치를 업데이트하는 적응형 동량 항을 통합한다.
• 모수 $\eta$ (스텝 사이즈), $\varepsilon$ (정확도), $S_{\cdot}$ (동량 메모리 크기), $B_{\cdot}$ (배치 크기), $a_{\cdot}$ (동량 계수)로 구성된 알고리즘을 정의하며, 실험에서는 모두 고정된 값으로 설정한다.

실험 결과

연구 질문

• RQ1 큰 배치와 작은 배치를 번갈아 사용하지 않는 단일루프 확률적 조합 최적화 알고리즘이 최적의 $\mathcal{O}(\varepsilon^{-3})$ IFO 복잡도를 달성할 수 있는가?
• RQ2 조합 최적화에서 재귀 기울기 업데이트에 동량을 통합하면 수렴 성능 향상과 파rameter 민감도 감소에 기여하는가?
• RQ3 STORM-Compositional 알고리즘이 SARAH-C, VRSC-PG, SCGD와 같은 기존 방법보다 수렴 속도와 하이퍼파rameter 선택에 대한 강건성 면에서 뛰어나게 성능을 발휘하는가?
• RQ4 체크포인트 기울기 저장이 없는 것이 분산 감소 조합 최적화의 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 동량 기반 재귀 업데이트 메커니즘이 포트폴리오 관리나 스토케스틱 이웃 임bed딩과 같은 비볼록 조합 문제에서 실용적 수렴을 얼마나 향상시키는가?

주요 결과

• STORM-Compositional은 $\mathcal{O}(\varepsilon^{-3})$의 IFO 복잡도 상한을 확보하여 SARAH-C의 최고 수준의 이론적 상한과 일치한다.
• 알고리즘은 큰 배치와 작은 배치를 번갈아 사용하지 않는 단일루프 방법으로, 하이퍼파rameter 조정이 간소화된다.
• STORM-Compositional은 분산 감소 방법에서 흔한 체크포인트 기울기 저장 요구 사항을 제거한다.
• 스토케스틱 이웃 임bed딩에 대한 수치 실험에서, 최소한의 하이퍼파rameter 조정으로도 SARAH-C, VRSC-PG, SCGD, ASC-PG를 모두 능가하는 성능을 보였다.
• 목적 함수의 갭 $\Phi(x) - \Phi^*$와 기울기 노름 측면에서 충분한 반복 이후에 더 빠른 수렴을 보였다.
• 경험적 우수성은 추가 메모리나 조정 오 overhead 없이도 최적화를 안정화하는 동량 기반 재귀 기울기 업데이트 덕분으로 기인된다.