[논문 리뷰] Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization

Huizhuo Yuan, Xiangru Lian외 1명|arXiv (Cornell University)|2019. 12. 31.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 매끄러운 비볼록 조합 최적화를 위한 새로운 확률적 재귀 분산 감소 알고리즘인 SARAH-Compositional을 제안한다. SARAH 프레임워크를 조합 목적함수로 확장함으로써, 유한합 케이스에서는 $\mathcal{O}((n+m)^{1/2}\varepsilon^{-2})$의 최적 IFO 복잡도 및 온라인 케이스에서는 $\mathcal{O}(\varepsilon^{-3})$의 복잡도를 달성하여 포트폴리오 관리, 강화학습, SNE 작업 전반에서 이론적·실제 성능 면에서 기존 방법들을 능가한다.

ABSTRACT

Stochastic compositional optimization arises in many important machine learning tasks such as value function evaluation in reinforcement learning and portfolio management. The objective function is the composition of two expectations of stochastic functions, and is more challenging to optimize than vanilla stochastic optimization problems. In this paper, we investigate the stochastic compositional optimization in the general smooth non-convex setting. We employ a recently developed idea of extit{Stochastic Recursive Gradient Descent} to design a novel algorithm named SARAH-Compositional, and prove a sharp Incremental First-order Oracle (IFO) complexity upper bound for stochastic compositional optimization: $\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$ in the finite-sum case and $\mathcal{O}(\varepsilon^{-3})$ in the online case. Such a complexity is known to be the best one among IFO complexity results for non-convex stochastic compositional optimization, and is believed to be optimal. Our experiments validate the theoretical performance of our algorithm.

연구 동기 및 목표

• 두 개의 확률적 함수 기대값의 조합으로 이루어진 목적함수를 최적화하는 데 있어 발생하는 도전 과제를 해결하기 위해.
• 기존 방법보다 더 빠른 수렴 속도와 향상된 이론적 복잡도 한계를 확보하는 분산 감소 알고리즘을 개발하기 위해.
• SARAH와 같은 재귀 기울기 방법의 성공을 더 복잡한 조합 설정으로 확장하여 실세계 머신러닝 응용에서 효율적인 최적화를 가능하게 하기 위해.
• 리스크 회피 포트폴리오 관리, 강화학습에서의 가치 함수 평가, 스토케스틱 이웃 임베딩(SNE)과 같은 분야에서 이론적 개선 사항을 실증적으로 검증하기 위해.

제안 방법

• 제안된 SARAH-Compositional 알고리즘은 조합 목적함수 $\Phi(x) = f(g(x))$의 전체 기울기 추정에서 분산을 줄이기 위해 재귀 기울기 갱신을 사용한다.
• 내부 함수 $g(x)$와 외부 함수 $f(g(x))$의 기울기 추정을 재귀적으로 유지하며, 제어 변수 기법을 사용해 각 반복 단계에서 효율적으로 갱신한다.
• 알고리즘은 이중 수준의 확률적 설정에서 작동한다: 내부 함수 $g_w(x)$와 외부 함수 $f_v(y)$를 독립적으로 샘플링하고, 미니배치 근사치를 사용해 기울기 추정치를 계산한다.
• 조합 목적함수의 구조를 활용해 전체 기울기의 재귀 갱신을 계산함으로써, 필요한 확률적 기울기 평가 횟수를 줄인다.
• 알고리즘은 유한합 및 온라인 설정 모두를 처리하도록 설계되었으며, 각 케이스에 대해 별도의 수렴 분석을 수행한다.
• 이론적 분석을 통해 알고리즘이 비볼록 조합 최적화를 위한 최고의 알려진 IFO 복잡도를 달성함을 입증한다.

실험 결과

연구 질문

• RQ1 기존 표준 확률적 최적화에서 사용되는 재귀 분산 감소 기법을 더 복잡한 조합 목적함수 설정으로 일반화할 수 있는가?
• RQ2 비볼록 스토케스틱 조합 최적화를 위한 최적의 인크리멘탈 제1차 오рак루(IFO) 복잡도는 무엇인가?
• RQ3 제안된 SARAH-Compositional 알고리즘이 SCGD, Acc-SCGD, ASC-PG, VRSC와 같은 기존 방법보다 수렴 속도와 안정성 면에서 뛰어나게 성능을 발휘하는가?
• RQ4 포트폴리오 관리, 강화학습, 차원 축소와 같은 다양한 실세계 응용 분야에서 알고리즘의 성능은 어떠한가?

주요 결과

• 유한합 케이스에서 SARAH-Compositional은 $\mathcal{O}((n+m)^{1/2}\varepsilon^{-2})$의 IFO 복잡도를 달성하여 기존 방법 중에서 가장 높은 성능을 기록한다.
• 온라인 설정에서는 $\mathcal{O}(\varepsilon^{-3})$의 IFO 복잡도를 확보하여 이 분야의 최고 알려진 한계와 일치한다.
• 리스크 회피 포트폴리오 관리에 대한 수치 실험 결과, SARAH-Compositional은 경쟁 알고리즘보다 더 빠르고 안정적인 수렴을 보였다.
• 강화학습 작업에서, 특히 작은 배치 크기와 큰 내부 루프 수에서 VRSC에 비해 SARAH-Compositional은 더 빠른 수렴 속도와 낮은 기울기 노름을 보였다.
• MNIST 데이터셋을 활용한 SNE 실험에서, SARAH-Compositional은 VRSC에 비해 훨씬 더 뛰어난 안정성과 기울기 노름 감소 속도를 보였으며, 각 내부 루프 내에서 기울기 노름이 안정적으로 감소하는 경향을 보였다.
• 모든 평가된 작업에서 알고리즘이 기준 방법들을 일관되게 능가함으로써, 조합 최적화에서 재귀 분산 감소의 이론적 이점이 확인되었다.