[논문 리뷰] Variance Reduced methods for Non-convex Composition Optimization

Liu Liu, Ji Liu외 1명|arXiv (Cornell University)|2017. 11. 13.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 12

한 줄 요약

이 논문은 내부 함수와 외부 함수 모두에 유한합 구조를 가진 비볼록 조합 최적화 문제를 위한 두 가지 분산 감소 확률적 알고리즘을 제안한다. 내부 함수 추정에 분산 감소를 적용함으로써, 특히 내부 구성 함수의 수가 클 경우에 크게 향상된 쿼리 복잡도를 달성하며, 이러한 비볼록 확률적 조합 문제에 대한 쿼리 복잡도에 대한 첫 이론적 분석을 마무리한다.

ABSTRACT

This paper explores the non-convex composition optimization in the form including inner and outer finite-sum functions with a large number of component functions. This problem arises in some important applications such as nonlinear embedding and reinforcement learning. Although existing approaches such as stochastic gradient descent (SGD) and stochastic variance reduced gradient (SVRG) descent can be applied to solve this problem, their query complexity tends to be high, especially when the number of inner component functions is large. In this paper, we apply the variance-reduced technique to derive two variance reduced algorithms that significantly improve the query complexity if the number of inner component functions is large. To the best of our knowledge, this is the first work that establishes the query complexity analysis for non-convex stochastic composition. Experiments validate the proposed algorithms and theoretical analysis.

연구 동기 및 목표

• 내부 구성 함수의 수가 많을 경우 기존의 확률적 방법(SGD 및 SVRG)이 비볼록 조합 문제에 적용될 때 높은 쿼리 복잡도를 보이는 문제를 해결한다.
• 전체 합 대신 샘플링된 부분 함수를 사용할 때 발생하는 내부 유한합 함수 $ G(x) $ 근사 시 편향된 기울기 추정 문제를 해결한다.
• 두 개의 유한합 구조 조합에 특화된 분산 감소 기법을 개발하여 쿼리 복잡도를 감소시키면서도 수렴 보장을 유지한다.
• 이러한 이중 수준의 유한합 구조 하에서 비볼록 확률적 조합 최적화에 대한 쿼리 복잡도에 대한 첫 이론적 분석을 수립한다.
• 비선형 임bedding 및 강화 학습과 같은 실제 응용 분야에서 제안된 알고리즘을 검증하여 기준 방법 대비 향상된 효율성을 입증한다.

제안 방법

• 외부 및 내부 유한합 구조 양쪽에 SVRG 기법을 적용하는 새로운 분산 감소 알고리즘을 도입하여, 비편향 기울기 추정을 보장한다.
• 외부 루프는 외부 함수의 전체 기울기 추정을 사용하고, 내부 루프는 내부 함수의 분산 감소 기울기를 사용하는 이중 루프 구조를 설계한다.
• 특히 내부 함수 $ G(x) $ 에 초점을 맞춰, 조합 $ f(x) = F(G(x)) $ 의 기울기 추정에서의 분산을 줄이기 위해 제어 변수 접근법을 사용한다.
• SVRG 프레임워크를 조합 설정에 적응시켜 두 알고리즘—SCVR 및 그 변형을 제안하며, 수렴성과 쿼리 복잡도에 대한 이론적 분석을 수행한다.
• 외부 함수는 전체 합 계산을 유지하면서 내부 함수 추정의 분산만 줄임으로써, $ ( abla G_j(x))^T \nabla F_i(G(x)) $ 의 기울기 추정이 비편향임을 확보한다.
• 기하급수 수열의 논리적 접근을 사용하여 기대 오차 감쇠에 대한 재귀 부등식을 유도하고, 비볼록성 가정 하에서 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 비볼록 조합 문제에서 내부 유한합 함수에 분산 감소 기법을 효과적으로 적용하여 쿼리 복잡도를 감소시킬 수 있는가?
• RQ2 두 유한합 구조를 가진 비볼록 확률적 조합 최적화에 대해 분산 감소 방법의 이론적 쿼리 복잡도는 무엇인가?
• RQ3 내부 구성 함수의 수가 클 경우, 제안된 방법이 SGD 및 SVRG와 비교해 수렴 속도와 쿼리 효율성 측면에서 어떻게 성능을 내는가?
• RQ4 제안된 알고리즘은 조합 설정에서 분산을 줄이면서도 비편향 기울기 추정을 유지할 수 있는가?
• RQ5 비선형 임bedding 및 강화 학습과 같은 실질적 응용 분야에서 제안된 방법은 기존 방법들인 SCGD, Acc-SCGD, ASC-PG보다 더 뛰어난 성능을 보이는가?

주요 결과

• 제안된 SCVR 알고리즘은 $ \mathcal{O}(n^{4/5}/\varepsilon) $ 의 쿼리 복잡도를 달성하며, $ m_0 > 1 $ 일 경우 SGD ($ \mathcal{O}(n^{m_0}/\varepsilon^2) $) 및 전체 기울기 강하법 ($ \mathcal{O}(n^{m_0}/\varepsilon) $) 보다 현저히 낮다.
• 제안된 방법의 쿼리 복잡도는 내부 구성 함수의 수 $ m $ 에 대해 유리하게 스케일링되며, $ m $ 이 클 경우 기존 방법들을 능가한다.
• 이론적 분석을 통해 제안된 알고리즘이 비볼록성 가정 하에서 정류점으로 수렴하며, 기대 오차가 재귀 부등식 조건 하에서 기하급수적으로 감쇠됨을 확인하였다.
• 비선형 임bedding 및 강화 학습 응용에서의 실험을 통해 제안된 알고리즘의 더 빠른 수렴 속도와 낮은 쿼리 복잡도가 기준 방법 대비 입증되었다.
• SCGD, Acc-SCGD, ASC-PG 대비 쿼리 복잡도 측면에서 더 뛰어난 성능을 보였으며, 비교된 모든 방법들 중에서 가장 우수한 기울기 복잡도를 달성하였다.
• 이 분석은 두 유한합 구조를 가진 비볼록 확률적 조합 문제에 대해 알려진 바 없는 쿼리 복잡도 상한을 수립하였으며, 이론적 이해의 중요한 격차를 메웠다.