[논문 리뷰] A Stochastic Composite Gradient Method with Incremental Variance Reduction

Junyu Zhang, Lin Xiao|arXiv (Cornell University)|2019. 06. 24.

Stochastic Gradient Optimization Techniques인용 수 25

한 줄 요약

이 논문은 벡터 매핑의 기대값을 포함하는 복합 함수를 최소화하기 위한 확률적 복합 그래디언트 방법인 CIVR를 제안한다. 내부 매핑과 그의 야코비안에 대해 분산 감소 추정기를 사용함으로써, CIVR는 복합 그래디언트 추정의 본질적 편향에도 불구하고, 비볼록 유한합 및 기대값 문제에 대해 최상의 기존 방법과 비교할 만한 최적의 샘플 복잡도를 달성한다.

ABSTRACT

We consider the problem of minimizing the composition of a smooth (nonconvex) function and a smooth vector mapping, where the inner mapping is in the form of an expectation over some random variable or a finite sum. We propose a stochastic composite gradient method that employs an incremental variance-reduced estimator for both the inner vector mapping and its Jacobian. We show that this method achieves the same orders of complexity as the best known first-order methods for minimizing expected-value and finite-sum nonconvex functions, despite the additional outer composition which renders the composite gradient estimator biased. This finding enables a much broader range of applications in machine learning to benefit from the low complexity of incremental variance-reduction methods.

연구 동기 및 목표

• 기대값 벡터 매핑과의 복합성을 포함하는 비볼록 최적화 문제를 해결하기 위한 목표.
• 복합 구조로 인해 발생하는 그래디언트 추정기의 편향을 극복함으로써 표준 분산 감소 기법의 적용을 복잡하게 만드는 문제에 대응하기 위한 목표.
• 이러한 문제에 대해 최적의 샘플 복잡도를 달성하는 방법을 개발하여, 더 단순한 기대값 및 유한합 문제에 대해 알려진 최고 수준의 속도를 따라가기 위한 목표.
• 강화 학습 및 위험 회피 최적화를 포함한 머신러닝 분야의 광범위한 응용을 가능하게 하기 위해 저복잡도이고 효율적인 알고리즘을 제공하기 위한 목표.

제안 방법

• 벡터 매핑 $ g_{\rho}(x) $ 와 그의 야코비안 $ g'_{\rho}(x) $ 에 대해 모두 증분 분산 감소를 적용하는 새로운 확률적 복합 그래디언트 방법 CIVR을 제안.
• 하나의 하위표본 기반 기대값에 기반한 편향된 그래디언트 추정기를 사용하지만, 새로운 증분 분산 감소 메커니즘을 통해 이 편향을 완화.
• 이중 수준의 샘플링 전략을 도입: 초기화 시 전체 배치 샘플링과 이후 배치 크기 $ s=1 $ 인 부분 샘플링, 이는 효율적인 계산을 가능하게 한다.
• 비볼록성 하에서 수렴을 보장하기 위해 적응형 스텝 사이즈를 사용하는 프록시멀 그래디언트 프레임워크를 적용.
• 예상되는 프록시멀 그래디언트 매핑의 노름, $ \mathbb{E}[\|\mathcal{G}(\bar{x})\|^{2}] \leq \epsilon $, 분석을 통해 이론적 수렴 속도 유도, $ \epsilon $-근사 해를 위한 목표.
• 정책 평가 및 위험 회피 최적화를 포함한 형태의 문제 $ \min_x f(\mathbb{E}_\xi[g_\xi(x)]) + r(x) $ 에 적용.

실험 결과

연구 질문

• RQ1 복합성으로 인해 그래디언트 추정기의 편향이 발생하는 비볼록 복합 최적화 문제에 대해, 분산 감소 확률적 그래디언트 방법을 설계할 수 있는가?
• RQ2 이러한 방법이 표준 기대값 및 유한합 문제에 대해 알려진 최고의 일阶 방법과 동일한 샘플 복잡도를 달성하는가?
• RQ3 작은 차원의 중간 매핑을 가진 실용적 문제들, 예를 들어 강화 학습의 정책 평가 및 위험 회피 최적화에 대해 효율적으로 적용 가능한가?
• RQ4 해당 방법이 $ \epsilon $-최적 해에 도달하기 위해 필요한 함수 평가 및 야코비안 평가의 수에 따라 이론적 수렴 속도는 어떻게 되는가?
• RQ5 SCGD, ASCGD, VRSC-PG와 같은 기존 알고리즘과 비교하여 수렴 속도 및 안정성 측면에서 경험적으로 어떻게 성능을 내는가?

주요 결과

• CIVR는 $ \mathcal{O}(\kappa^2 \sigma_0^2 \epsilon^{-1} + \kappa) \ln \epsilon^{-1} $ 의 샘플 복잡도를 달성하며, 비볼록 유한합 및 기대값 문제에 대해 알려진 최고 수준의 속도와 일치한다.
• 결정론적 경우 ($ \sigma_0 = 0 $) 에서는 복잡도가 $ \mathcal{O}(\kappa \ln \epsilon^{-1}) $ 로 감소하며, 부드러운 비볼록 문제에 대해 최적이다.
• MDP에서의 정책 평가에 대한 수치 실험 결과, CIVR-b1 (배치 크기 1) 이 SCGD, ASCGD, ASC-PG, VRSC-PG, C-SAGA 를 모두 초월하여 수렴 속도와 안정성에서 뛰어난 성능을 보였다.
• 작은 배치 크기에서도 안정적이고 부드러운 수렴 궤적을 유지하여 실용적 환경에서의 강인성을 입증했다.
• 낮은 차원의 중간 매핑을 가진 문제들(예: 위험 회피 최적화에서 $ p=2 $) 에서도 계산 오버헤드가 최소한이 되어 효율적인 적용이 가능했다.
• 이론적 분석을 통해 복합 그래디언트 추정의 편향을 효과적으로 다루며, 비볼록성 하에서도 수렴 보장을 가능하게 함을 확인했다.