[논문 리뷰] Accelerated Method for Stochastic Composition Optimization with Nonsmooth Regularization

Zhouyuan Huo, Bin Gu외 2명|arXiv (Cornell University)|2017. 11. 10.

Stochastic Gradient Optimization Techniques인용 수 21

한 줄 요약

이 논문은 비연속 정규화를 갖는 확률적 조합 최적화를 위한 분산 감소 확률적 조합 경사수렴 방법, VRSC-PG를 제안한다. 분산 감소와 프록시 갱신을 통합함으로써 강凸 문제에 대해 선형 수렴를 달성하고, 일반 문제에 대해서는 이전의 최고 성능인 $O(T^{-1/2})$ 에서 $O((n_1+n_2)^{2/3}T^{-1})$ 으로 향상된 수렴 속도를 달성한다.

ABSTRACT

Stochastic composition optimization draws much attention recently and has been successful in many emerging applications of machine learning, statistical analysis, and reinforcement learning. In this paper, we focus on the composition problem with nonsmooth regularization penalty. Previous works either have slow convergence rate or do not provide complete convergence analysis for the general problem. In this paper, we tackle these two issues by proposing a new stochastic composition optimization method for composition problem with nonsmooth regularization penalty. In our method, we apply variance reduction technique to accelerate the speed of convergence. To the best of our knowledge, our method admits the fastest convergence rate for stochastic composition optimization: for strongly convex composition problem, our algorithm is proved to admit linear convergence; for general composition problem, our algorithm significantly improves the state-of-the-art convergence rate from $O(T^{-1/2})$ to $O((n_1+n_2)^{{2}/{3}}T^{-1})$. Finally, we apply our proposed algorithm to portfolio management and policy evaluation in reinforcement learning. Experimental results verify our theoretical analysis.

연구 동기 및 목표

• 비연속 정규화를 갖는 기존의 확률적 조합 최적화 방법에서 완전한 수렴 분석의 부족과 느린 수렴 속도를 해결한다.
• 내부 함수 평가가 비용이 많이 드는 조합 문제에서 비편향 경사 추정의 높은 계산 비용을 극복한다.
• 비연속 정규화 페널티를 효과적으로 다룰 수 있도록 분산 감소와 프록시 갱신을 결합한 방법을 개발한다.
• 특히 강凸이 아닌 설정에서 이전 방법보다 더 빠른 수렴 속도를 달성한다.
• 비연속 정규화를 갖는 강凸 및 일반 조합 문제에 대해 이론적 보장을 제공한다.

제안 방법

• 확률적 조합 문제의 수렴 속도를 가속화하기 위한 새로운 분산 감소 확률적 조합 프록시 경사수렴(VRSC-PG) 방법을 제안한다.
• G_j(x), \nabla G_j(x), 및 \nabla F_i(y)에 대한 쿼리 수를 세는 샘플링 오라클 모델을 도입하여 쿼리 복잡도를 공정하게 비교할 수 있도록 한다.
• 외부 및 내부 함수의 확률적 경사에 분산 감소 기법을 적용하여 노이즈를 감소시키고 수렴 속도를 가속화한다.
• 비연속 정규화 항 h(x)를 다루기 위해 프록시 갱신 단계를 사용하여 h(x)가 미분 가능하지 않더라도 수렴을 보장한다.
• 다중 수준 샘플링 전략과 재귀적 경사 추정을 활용하여 계산 오버헤드를 최소화하면서도 낮은 분산을 유지한다.
• 예상 최적성 갭을 분석하기 위해 리아푸노프 함수와 재귀 부등식을 사용하여 이론적 수렴 경계를 확립한다.

실험 결과

연구 질문

• RQ1 분산 감소 방법이 비연속 정규화를 갖는 확률적 조합 문제에서 선형 수렴를 달성할 수 있는가?
• RQ2 비연속 정규화를 갖는 일반(강凸이 아님) 확률적 조합 문제에 대해 최적의 수렴 속도는 무엇인가?
• RQ3 SCGD, ASC-PG, com-SVR-ADMM와 같은 기존 방법과 비교해 본다면, 제안된 방법의 쿼리 복잡도와 수렴 속도는 어떻게 되는가?
• RQ4 비연속 정규화가 존재하는 상황에서 선형 수렴를 확보하기 위해 알고리즘 파라미터에 필요한 조건은 무엇인가?
• RQ5 내부 및 외부 함수가 비凸이지만 미분 가능할 경우, 이 방법은 여전히 빠른 수렴 속도를 유지하는가?

주요 결과

• 강凸 조합 문제에 대해 VRSC-PG는 수렴 속도 $O\left(\rho^{\frac{T}{n_1+n_2+\kappa^3}}\right)$ 로 선형 수렴를 달성하며, 이는 이전 방법보다 향상된 성능이다.
• 일반(강凸이 아님) 문제에 대해 수렴 속도는 $O\left((n_1+n_2)^{2/3}T^{-1}\right)$ 로, 이전의 최고 성능인 $O(T^{-1/2})$ 에 비해 상당한 향상이다.
• 이 방법은 비연속 정규화를 갖는 확률적 조합 문제에 대해 강凸 및 일반 케이스를 포함한 완전한 수렴 분석을 처음으로 제공한다.
• 이론적 분석을 통해 선형 수렴를 달성하기 위해 관련 방법들(예: com-SVR-ADMM)의 파라미터 A와 m는 \kappa^2 에 비례하여 증가해야 한다는 것을 확인하였으며, 이 조건은 이전 연구에서 다루지 않은 바이다.
• 포트폴리오 관리 및 강화 학습 정책 평가에서의 실험 결과는 이론적 발견을 검증하고 기준 방법보다 뛰어난 성능을 보여준다.
• 비용이 많이 드는 내부 함수 평가가 있는 대규모 응용 분야에 적합하도록, 반복당 낮은 쿼리 복잡도를 유지하면서도 더 빠른 수렴 속도를 달성한다.