[논문 리뷰] Accelerating Stochastic Composition Optimization

Mengdi Wang, Ji Liu외 1명|arXiv (Cornell University)|2016. 07. 25.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 24

한 줄 요약

이 논문은 비스무스 스무스 정규화를 갖는 확률적 조합 최적화를 위한 새로운 1차 알고리즘인 가속화된 확률적 조합 프oks지어 기울기(ASC-PG) 방법을 제안한다. 이 방법은 두 가지 시간 척도 업데이트와 프록시멀 기울기 단계를 활용하여 이전 방법보다 더 빠른 수렴 속도를 달성하며, 특수한 경우에 최적의 $O(1/k)$ 수렴 속도를 확보한다.

ABSTRACT

Consider the stochastic composition optimization problem where the objective is a composition of two expected-value functions. We propose a new stochastic first-order method, namely the accelerated stochastic compositional proximal gradient (ASC-PG) method, which updates based on queries to the sampling oracle using two different timescales. The ASC-PG is the first proximal gradient method for the stochastic composition problem that can deal with nonsmooth regularization penalty. We show that the ASC-PG exhibits faster convergence than the best known algorithms, and that it achieves the optimal sample-error complexity in several important special cases. We further demonstrate the application of ASC-PG to reinforcement learning and conduct numerical experiments.

연구 동기 및 목표

• 두 개의 기댓값 함수의 조합을 포함하는 효율적인 1차 알고리즘을 개발하기 위해.
• 특히 ℓ₁-노름과 같은 비스무스 스무스 정규화 항을 다룰 수 있도록 프록시멀 기울기 방법을 확률적 조합 최적화 문제로 확장하기 위해.
• 기존의 확률적 조합 기울기 방법보다 더 빠른 수렴 속도를 달성하기 위해, 특히 샘플-오차 복잡도 측면에서.
• 일반적인 매끄럽고 볼록성 가정 하에 이론적 수렴 속도를 확립하기 위해, 특수한 경우에 최적의 복잡도를 포함한다.
• 강화 학습과 위험 회피 최적화 응용을 통해 실용적 유용성을 입증하기 위해.

제안 방법

• ASC-PG 방법은 내부 함수 추정치를 추적하는 한쪽 시간 척도와 주 변수를 업데이트하는 다른 시간 척도를 사용하는 이중 시간 척도 업데이트 전략을 채택한다.
• ℓ₁-노름과 같은 비스무스 스무스 정규화 펜alty를 다룰 수 있도록 프록시멀 기울기 단계를 통합하여 희소 최적화에의 적용을 가능하게 한다.
• 내부 함수 $g_w({f x})$와 외부 함수 $f_v(g_w({f x}))$에 대해 무편향 확률적 기울기 추정치를 사용하며, 각 시간 척도에 별도의 스텝 사이즈를 적용한다.
• 두 시간 척도의 확률적 근사에서 영감을 얻어, $g({f x})$의 추정과 ${f x}$의 업데이트를 분리함으로써 안정성과 수렴성을 유지하도록 설계되었다.
• 매끄럽고 볼록성 가정 하에 이론적 분석을 통해 수렴 속도를 확립하였으며, $f_v$와 $g_w$의 매끄러움 및 $R({f x})$의 볼록성 등의 조건을 포함한다.
• 값 함수 추정을 확률적 조합 문제로 변환하기 위해 벨먼 방정식 형태로 강화 학습에 적용된다.

실험 결과

연구 질문

• RQ1 ℓ₁-노름과 같은 비스무스 스무스 정규화를 갖는 확률적 조합 문제에 대해 프록시멀 기울기 방법을 설계할 수 있는가?
• RQ2 이중 시간 척도 업데이트를 사용하는 일반적인 확률적 조합 문제에 대해, 확률적 1차 방법이 달성할 수 있는 수렴 속도는 무엇인가?
• RQ3 내부 함수가 선형인 특수한 경우에, 제안된 ASC-PG 방법이 최적의 샘플-오차 복잡도를 달성하는가?
• RQ4 강화 학습 환경에서 기존 알고리즘인 SCGD와 GTD2-MP와 비교해 ASC-PG 방법은 경험적으로 어떻게 성능을 보이는가?
• RQ5 분산 최소화를 포함하는 위험 회피 학습 문제에 대해 ASC-PG 방법은 효과적으로 적용될 수 있는가?

주요 결과

• ASC-PG 방법은 기대 부분 최적성 갭 $ ext{E}[H({f x}_k) - H({f x}^*)]$ 에 대해 $O(1/k)$ 수렴 속도를 달성하며, 이는 이전 방법의 최고 수준인 $O(1/k^{4/9})$ 속도보다 더 빠르다.
• 내부 함수 $g_w({f x})$가 선형인 특수한 경우에, ASC-PG 방법은 이론적 하한선과 일치하는 최적의 $O(1/k)$ 수렴 속도를 달성한다.
• 수치 실험 결과, ASC-PG는 Baird의 예제(S=6)와 더 큰 MDP(S=100)에서 SCGD 및 GTD2-MP보다 수렴 속도가 빠르며, $ ext{E}[ orm{{f w}_k - {f w}^*}]$ 의 감소 폭이 더 크다.
• 비제로 성분이 4개 뿐인 $oldsymbol{ heta}^*$ 를 갖는 희소 복구 설정에서, $oldsymbol{ heta}$-정규화를 사용한 ASC-PG는 $ orm{{f w}_k - oldsymbol{ heta}^*}$ 의 급격한 감소를 통해 희소 해를 성공적으로 회복한다.
• 반복 횟수 대 오차의 로그-로그 플롯은 $O(1/k)$ 수렴 속도를 경험적으로 확인하였으며, 기울기가 -1에 가까운 것으로 나타나 이론적 분석을 지지한다.
• ASC-PG 방법은 비스무스 스무스 정규화를 다룰 수 있는 확률적 조합 문제에 대해 최초의 프록시멀 기울기 방법이며, 적용 가능한 최적화 문제의 범위를 넓혔다.