[논문 리뷰] Unbiased Simulation for Optimizing Stochastic Function Compositions

José Blanchet, Donald Goldfarb외 3명|arXiv (Cornell University)|2017. 11. 20.

Stochastic Gradient Optimization Techniques참고 문헌 1인용 수 12

한 줄 요약

이 논문은 다수의 수준에서 몬테카를로를 활용하여 분산이 유한하고 비용이 낮은 기울기 추정을 가능하게 하는 비편향 기울기 시뮬레이션 알고리즘을 제안한다. 이는 강력한 볼록성 하에서 기댓값과 거의 확실히 선형 수렴을 달성하는 반면, Cox의 부분우도수 모델과 조건부 랜덤 필드 작업에서 편향된 대안들보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we introduce an unbiased gradient simulation algorithms for solving convex optimization problem with stochastic function compositions. We show that the unbiased gradient generated from the algorithm has finite variance and finite expected computation cost. We then combined the unbiased gradient simulation with two variance reduced algorithms (namely SVRG and SCSG) and showed that the proposed optimization algorithms based on unbiased gradient simulations exhibit satisfactory convergence properties. Specifically, in the SVRG case, the algorithm with simulated gradient can be shown to converge linearly to optima in expectation and almost surely under strong convexity. Finally, for the numerical experiment,we applied the algorithms to two important cases of stochastic function compositions optimization: maximizing the Cox's partial likelihood model and training conditional random fields.

연구 동기 및 목표

• 스토케스틱 구성 최적화 문제에서 기존의 편향된 스토케스틱 기울기 방법의 계산 비효율성을 해결하기 위해.
• 분산이 유한하고 기댓값 계산 비용이 유한한 비편향 기울기 시뮬레이션 기법을 개발하기 위해.
• 비편향 기울기 시뮬레이션을 분산 감소 알고리즘(SVRG, SCSG)과 통합하여 수렴 속도를 향상시키기 위해.
• Cox의 부분우도수 최대화와 조건부 랜덤 필드 학습과 같은 실제 문제에 이 프레임워크를 적용하기 위해.
• 제안된 시뮬레이션 기반 최적화 프레임워크를 사용하여 강력한 볼록성 하에서 기댓값과 거의 확실히 선형 수렴을 입증하기 위해.

제안 방법

• 편향 제거 기법을 적용한 다수준 몬테카를로를 사용하여 스토케스틱 구성 문제에 대한 비편향 스토케스틱 기울기를 시뮬레이션한다.
• 함수 차원에 관계없이 유한한 두 번째 모멘트와 기댓값 계산 비용을 유지하는 시뮬레이션 알고리즘을 구축한다.
• 비편향 기울기 시뮬레이션을 SVRG 및 SCSG와 통합하여 분산을 줄이고 수렴 속도를 가속화한다.
• 기본 수준의 시뮬레이션 전략을 사용하여 기울기 추정을 안정화하고 수렴 보장을 확보한다.
• 위험 집합의 의존성을 축소함으로써, Cox의 부분우도수와 같이 누적 합의 구조를 가진 문제에 이 방법을 적용한다.
• CRF 학습에서 효율적인 전체 기울기 계산을 위해 동적 프로그래밍(예: 비터비 알고리즘)을 활용하여 시뮬레이션 기반 방법과의 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 스토케스틱 함수 조합에 대해 분산이 유한하고 기댓값 계산 비용이 유한한 비편향 기울기 시뮬레이션을 구성할 수 있는가?
• RQ2 비편향 기울기 시뮬레이션을 SVRG 또는 SCSG와 조합할 경우, 강력한 볼록성 하에서 기댓값과 거의 확실히 선형 수렴을 달성할 수 있는가?
• RQ3 함수 조합-SVRG-1과 같은 편향 알고리즘과 비교해 볼 때, 제안된 방법의 수렴 속도와 반복 복잡도는 어떻게 되는가?
• RQ4 Cox의 부분우도수와 같이 전체 기울기 계산이 비용이 많이 드는 누적 합의 구조를 가진 문제를 효율적으로 처리할 수 있는가?
• RQ5 대규모 환경에서 시뮬레이션 분산과 전체 기울기 평가 부재가 수렴 행동에 미치는 영향은 무엇인가?

주요 결과

• 제안된 비편향 기울기 시뮬레이션 알고리즘은 목적 함수의 차원에 관계없이 분산이 유한하고 기댓값 계산 비용이 유한한 기울기를 생성한다.
• SVRG와 조합했을 때, 강력한 볼록성 하에서 기댓값과 거의 확실히 선형 수렴을 달성하며, 구성 함수의 수 m과 n에 관계없이 수렴 속도가 독립적이다.
• Cox의 부분우도수 실험에서 Simulated SVRG 알고리즘이 Compositional-SVRG-1과 경사하강법을 모두 능가했으며, 선형 수렴과 대규모 누적 합의 구조에 대한 강건성을 보였다.
• CRF 학습 과제에서 Simulated SVRG는 다시 한번 최고의 성능을 보였지만, SCSG의 경우 대규모 데이터셋에서 전체 기울기 평가가 이루어지지 않아 경사하강법에 비해 뒤처졌다.
• 이 방법은 Cox 모델에서 누적 합의 구조를 성공적으로 축소하여, 기존 방법이 계산 병목 현상에 봉착하는 상황에서도 효율적인 최적화를 가능하게 하였다.
• 수치 결과에 따르면, 특히 분산이 높은 시뮬레이션 환경에서 기울기 추정 분산으로 인해 함수 값이 일시적으로 증가하는 경우가 있다.