[논문 리뷰] Momentum Schemes with Stochastic Variance Reduction for Nonconvex Composite Optimization

Yi Zhou, Zhe Wang외 3명|arXiv (Cornell University)|2019. 02. 07.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 11

한 줄 요약

이 논문은 비볼록 및 비연속 복합 최적화에서 성능을 향상시키기 위해 유연한 계수 설정을 가진 새로운 모멘타움 기법을 제안한다. SPIDER 알고리즘에 통합된 이 방법은 일반화된 일阶 정류 조건을 달성하기 위해 거의 최적의 기울기 오라클 복잡도를 달성하며, 실험 결과 기존의 분산 감소 방법들보다 뛰어난 실용적 성능을 보인다.

ABSTRACT

Two new stochastic variance-reduced algorithms named SARAH and SPIDER have been recently proposed, and SPIDER has been shown to achieve a near-optimal gradient oracle complexity for nonconvex optimization. However, the theoretical advantage of SPIDER does not lead to substantial improvement of practical performance over SVRG. To address this issue, momentum technique can be a good candidate to improve the performance of SPIDER. However, existing momentum schemes used in variance-reduced algorithms are designed specifically for convex optimization, and are not applicable to nonconvex scenarios. In this paper, we develop novel momentum schemes with flexible coefficient settings to accelerate SPIDER for nonconvex and nonsmooth composite optimization, and show that the resulting algorithms achieve the near-optimal gradient oracle complexity for achieving a generalized first-order stationary condition. Furthermore, we generalize our algorithm to online nonconvex and nonsmooth optimization, and establish an oracle complexity result that matches the state-of-the-art. Our extensive experiments demonstrate the superior performance of our proposed algorithm over other stochastic variance-reduced algorithms.

연구 동기 및 목표

• 비볼록 설정에서 SPIDER와 같은 분산 감소 알고리즘의 이론적 이점과 실용적 성능 사이의 격차를 해소하기 위해.
• 기존의 모멘타움 기법이 실패하는 비볼록 및 비연속 복합 최적화에 적합한 모멘타움 기법을 설계하기 위해.
• 일반화된 일阶 정류 점으로의 수렴을 위한 거의 최적의 기울기 오라클 복잡도를 달성하기 위해.
• 제안된 알고리즘을 온라인 비볼록 최적화로 확장하여 최신 기준 복잡도를 달성하기 위해.
• 기존의 확률적 분산 감소 알고리즘들에 비해 새로운 방법의 뛰어난 성능을 실증적으로 검증하기 위해.

제안 방법

• 비볼록 및 비연속 복합 최적화에 특화된 유연한 계수 설정을 가진 새로운 모멘타움 기법을 제안한다.
• SPIDER 프레임워크에 모멘타움을 통합하여 수렴 속도를 가속화하면서도 분산 감소를 유지한다.
• 비볼록 문제의 수렴 기준으로 일반화된 일阶 정류 조건을 사용한다.
• 분산 감소와 함께 온라인 학습 원리를 통합하여 알고리즘을 온라인 설정에 적응시킨다.
• 새로운 알고리즘의 철학적 분석을 통해 기울기 오라클 복잡도에 대한 이론적 경계를 설정한다.
• 수렴 속도 향상을 위해 확률적 기울기와 모멘타움 항을 조합한 하이브리드 업데이트 규칙을 활용한다.

실험 결과

연구 질문

• RQ1 모멘타움 기법은 비볼록 및 비연속 복합 최적화에 효과적으로 적용되어 실용적 성능을 향상시킬 수 있는가?
• RQ2 제안된 모멘타움 강화 SPIDER는 비볼록 설정에서 거의 최적의 기울기 오라클 복잡도를 달성하는가?
• RQ3 실제로 제안된 알고리즘의 성능은 SVRG 및 기타 분산 감소 방법들보다 뛰어나게 나타나는가?
• RQ4 알고리즘이 최신 기준 복잡도를 유지하면서 온라인 비볼록 최적화로 일반화될 수 있는가?
• RQ5 모멘타움 기법에서 어떤 계수 설정이 수렴 속도와 안정성 사이의 최적의 트레이드오프를 이룰 수 있는가?

주요 결과

• 제안된 모멘타움 강화 SPIDER 알고리즘은 비볼록 및 비연속 복합 최적화에서 일반화된 일阶 정류 조건을 달성하기 위해 거의 최적의 기울기 오라클 복잡도를 달성한다.
• 광범위한 실험을 통해 기존의 SVRG 및 기타 확률적 분산 감소 알고리즘들에 비해 뛰어난 실용적 성능을 보여준다.
• 이론적 복잡도 경계는 온라인 비볼록 최적화 분야의 최신 기준과 일치하여 효율성을 확인한다.
• 모멘타움 기법의 유연한 계수 설정은 안정성을 훼손하지 않으면서도 수렴 속도를 크게 향상시킨다.
• 최적의 오라클 복잡도를 유지하면서도 온라인 설정으로의 일반화에 성공한다.
• 결과적으로 SPIDER의 이론적 이점이 적절한 모멘타움 통합을 통해 실용적 이득으로 효과적으로 전환될 수 있음을 보여준다.