[논문 리뷰] Finite-sum Composition Optimization via Variance Reduced Gradient Descent

Xiangru Lian, Mengdi Wang외 1명|arXiv (Cornell University)|2016. 10. 15.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 7

한 줄 요약

이 논문은 유한합 조합 최적화 문제에 대해 스위치 컴positional 그래디언트 디센트와 SVRG 기법을 조합하여 두 가지 새로운 분산 감소 알고리즘, Compositional SVRG-1과 Compositional SVRG-2를 제안한다. 주요 기여는 강凸 문제에 대해 선형 수렴 속도를 확보한 것으로, 기존 방법의 하위선형 O(K⁻⁰.⁸) 수렴 속도보다 크게 향상되었으며, 각각 O((m + n + ˜κ₁⁴) log(1/ϵ)) 및 O((m + n + ˜κ₂³) log(1/ϵ))의 쿼리 복잡도를 갖는다.

ABSTRACT

The stochastic composition optimization proposed recently by Wang et al. [2014] minimizes the objective with the compositional expectation form: $\min_x~(\mathbb{E}_iF_i \circ \mathbb{E}_j G_j)(x).$ It summarizes many important applications in machine learning, statistics, and finance. In this paper, we consider the finite-sum scenario for composition optimization: \[\min_x f (x) := \frac{1}{n} \sum_{i = 1}^n F_i \left(\frac{1}{m} \sum_{j = 1}^m G_j (x) ight). \] We propose two algorithms to solve this problem by combining the stochastic compositional gradient descent (SCGD) and the stochastic variance reduced gradient (SVRG) technique. A constant linear convergence rate is proved for strongly convex optimization, which substantially improves the sublinear rate $O(K^{-0.8})$ of the best known algorithm.

연구 동기 및 목표

• 기계학습 및 금융 분야에서 구성 함수의 경험 평균으로 이루어진 목적함수를 다루는 유한합 조합 최적화 문제에 도전한다.
• 기존의 스위치 컴포지셔널 그래디언트 방법이 보이는 하위선형 수렴 속도 O(K⁻⁰.⁸)를 해결하고자 하며, 이는 표준 스위치 최적화의 최적 O(K⁻¹) 수렴 속도보다 느리다.
• 분산 감소를 통해 강凸 유한합 조합 최적화 문제에 대해 선형 수렴을 달성하는 효율적인 알고리즘을 개발하고자 한다.
• 문제의 조건 수와 데이터 세트 크기에 따라 유리하게 스케일링되는 이론적 쿼리 복잡도 경계를 설정하고자 한다.
• 일반적인 유한합 조합 최적화에 대해 처음으로 선형 수렴을 보장하는 알고리즘을 제안하여 문헌에서 중요한 격차를 메운다.

제안 방법

• 스위치 컴포지셔널 그래디언트 디센트(ScGD)와 SVRG의 분산 감소 기법을 조합하여 수렴의 안정성과 가속성을 향상시킨다.
• 두 가지 변형인 Compositional SVRG-1과 Compositional SVRG-2를 도입하며, 내부 및 외부 함수 그래디언트 처리 방식에서 차이를 둔다.
• 각 에포크의 시작 시점에서의 반복값 스냅샷을 사용해 제어 변수를 계산함으로써 스위치 그래디언트 추정치의 분산을 감소시킨다.
• 이중 수준의 샘플링 전략을 적용: 고정된 경험 데이터 세트에서 구성 함수 Gi 및 Fj를 무작위로 선택하여 그래디언트를 계산한다.
• 구성 구조 F(G(x))를 유지하면서도 저비용의 저장 및 계산을 유지할 수 있도록 재귀적 그래디언트 업데이트 규칙을 적용한다.
• 조건 수의 변형 ˜κ₁ 및 ˜κ₂를 사용하여 기대 하위최적성 갭을 경계함으로써 이론적 수렴 보장을 도출한다.

실험 결과

연구 질문

• RQ1 SVRG와 같은 분산 감소 기법이 유한합 조합 최적화 설정에 효과적으로 적용되어 선형 수렴을 달성할 수 있는가?
• RQ2 강凸 유한합 조합 최적화 문제에 대해 이러한 분산 감소 알고리즘의 이론적 쿼리 복잡도는 무엇인가?
• RQ3 조건 수 ˜κ₁ 및 ˜κ₂는 제안된 알고리즘의 수렴 속도와 쿼리 복잡도에 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘은 조건 수가 높은 환경에서 기존의 스위치 컴포지셔널 그래디언트 방법보다 실질적으로 뛰어난 성능을 보일 수 있는가?
• RQ5 클래식한 SVRG와 동일한 쿼리 복잡도 O((m + n + κ) log(1/ϵ))를 달성할 수 있는가, 아니면 조건 수에 대한 더 높은 의존성이 피할 수 없는가?

주요 결과

• 제안된 Compositional SVRG-1 및 Compositional SVRG-2는 강凸 유한합 조합 최적화 문제에 대해 선형 수렴 속도를 달성하며, 기존 방법의 하위선형 O(K⁻⁰.⁸) 속도에 비해 크게 향상되었다.
• Compositional SVRG-1의 쿼리 복잡도는 O((m + n + ˜κ₁⁴) log(1/ϵ))이며, Compositional SVRG-2는 O((m + n + ˜κ₂³) log(1/ϵ))이다. 둘 다 원하는 정밀도 ϵ에 대해 로그적 의존성을 갖는다.
• 실험 결과 양 알고리즘이 선형으로 수렴하며, Compositional SGD 및 Accelerating Compositional SGD와 같은 베이스라인 방법보다 뛰어난 성능을 보였으며, 조건 수가 증가할수록 그 격차가 더욱 두드러졌다.
• 조건 수 κcov가 클 경우 Compositional SVRG-2가 Compositional SVRG-1보다 뛰어난 성능을 보였으며, 이는 ˜κ₂³에 대한 이론적 우월성과 일치한다.
• 실제 응용 분야인 평균-분산 포트폴리오 최적화에서도 두 알고리즘이 더 적은 오라클 쿼리로 더 빠른 수렴을 달성하여 효과적임을 입증했다.
• 이 연구는 일반적인 유한합 조합 최적화에 대해 처음으로 선형 수렴을 보장하는 이론적 프레임워크를 구축하였으며, 향후 연구를 위한 새로운 방향을 열었다.