[논문 리뷰] A Lower Bound for the Optimization of Finite Sums

Alekh Agarwal, Léon Bottou|arXiv (Cornell University)|2014. 10. 02.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 46

한 줄 요약

이 논문은 $ n $ 개의 $ L $-smooth하고 $ \mu $-strongly convex인 함수들의 유한 합을 최적화하기 위한 이론적 하한을 설정한다. 이는 어떤 결정적 알고리즘도 $ \epsilon $-정확도에 도달하기 위해 $ \Omega(n + \sqrt{n(\kappa - 1)}\log(1/\epsilon)) $ 번 이하의 반복을 수행할 수 없음을 보여주며, 여기서 $ \kappa = L/\mu $이다. 이 결과는 증분 제1차 방법의 기본적인 한계를 드러내며, SAG, SVRG, SAGA와 같은 최신 기법들과 거의 최적임을 보여준다.

ABSTRACT

This paper presents a lower bound for optimizing a finite sum of $n$ functions, where each function is $L$-smooth and the sum is $μ$-strongly convex. We show that no algorithm can reach an error $ε$ in minimizing all functions from this class in fewer than $Ω(n + \sqrt{n(κ-1)}\log(1/ε))$ iterations, where $κ=L/μ$ is a surrogate condition number. We then compare this lower bound to upper bounds for recently developed methods specializing to this setting. When the functions involved in this sum are not arbitrary, but based on i.i.d. random data, then we further contrast these complexity results with those for optimal first-order methods to directly optimize the sum. The conclusion we draw is that a lot of caution is necessary for an accurate comparison, and identify machine learning scenarios where the new methods help computationally.

연구 동기 및 목표

• 유한 합의 $ n $ 개의 스무스하고 강하게 볼록인 함수를 최소화하기 위한 결정적 알고리즘의 반복 복잡도에 대한 기본 하한을 설정하는 것.
• 표준 확률적 및 배치 방법과 비교하여 증분 제1차 최적화 방법의 이론적 한계를 명확히 하는 것.
• SAG, SVRG, SAGA와 같은 기존 방법들이 최적에 얼마나 가까운지 또는 향후 개선이 가능한지 조사하는 것.
• 이 하한이 분포에서 i.i.d. 랜덤 샘플로 이루어진 $ n $ 개의 함수를 갖는 통계적 설정에서의 함의를 검토하는 것.
• 특히 불량 조건 문제에서 표준 제1차 방법에 비해 증분 방법이 계산상의 이점이 있는 상황을 식별하는 것.

제안 방법

• 알고리즘이 특정 점 $ x $ 에서 단일 함수 $ g_i $ 의 기울기를 질의하는 IFO(Incremental First-order Oracle) 복잡도 모델을 도입한다.
• 결정적 알고리즘에 대한 최악의 행동을 시뮬레이션하기 위해 철저히 설계된 함수의 시퀀스를 사용하여 저항성 오라클 논증을 구성한다.
• 반복 점 $ x_K $ 의 재귀적 분석을 통해, 최악의 초기화 조건 하에서 오차 $ \|x_K - x^*_f\| $ 가 최대 $ \gamma q^{4K/n} $ 의 속도로 감소함을 보여준다. 여기서 $ q < 1 $ 이다.
• 제닝스 부등식과 볼록성 논증을 적용하여 오차 성장에 대한 하한을 유도하고, 최종 복잡도 하한을 도출한다.
• 소수의 $ \epsilon $ 에 대해 하한을 정밀화하기 위해 로그 부등식을 포함하는 기술적 보조정리를 사용하여, $ \epsilon < 1 $ 인 경우에도 하한이 유지됨을 보장한다.
• 유도된 하한을 알려진 IFO 방법들(SAG, SVRG, SAGA)과 이중 좌표 방법들(ASDCA, SPDC)의 상한과 비교하여, 하한의 날카로움을 입증한다.

실험 결과

연구 질문

• RQ1 유한 합의 $ n $ 개의 $ L $-smooth하고 $ \mu $-strongly convex 함수를 $ \epsilon $-정확도로 최소화하기 위해 필요한 IFO 질의의 최소 수는 얼마인가?
• RQ2 결정적 알고리즘에 대한 이 하한은 SAG, SVRG, SAGA와 같은 기존 IFO 방법들의 상한과 어떻게 비교되는가?
• RQ3 불량 조건 문제에서 증분 제1차 방법은 표준 제1차 방법보다 유의미하게 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ4 문제의 유한 합 구조는 일반적인 확률적 또는 배치 최적화 방법보다 증명 가능하게 더 좋은 수렴을 가능하게 하는가?
• RQ5 i.i.d. 샘플로 이루어진 통계적 설정에서, 증분 방법은 최적의 제1차 방법에 비해 여전히 계산상의 이점이 있는가?

주요 결과

• 이 논문은 어떤 결정적 알고리즘도 $ n $ 개의 $ L $-smooth하고 $ \mu $-strongly convex 함수의 유한 합을 $ \epsilon $-정확도로 최소화하기 위해 $ \Omega(n + \sqrt{n(\kappa - 1)}\log(1/\epsilon)) $ 번의 반복을 수행할 수 없음을 하한으로 설정한다.
• 이 하한은 거의 날카로우며, SAG, SVRG, SAGA와 같은 기존 IFO 방법들이 $ \mathcal{O}((n + \kappa)\log(1/\epsilon)) $ 의 반복 복잡도를 달성하고 있어, 로그 및 상수 인자 외에는 거의 동일하다.
• ASDCA와 SPDC와 같은 이중 좌표 방법들은 더 가까운 상한을 달성하지만, IFO 방법은 아니므로 IFO와 이중 방법 사이에 잠재적인 격차가 있음을 시사한다.
• 불량 조건 문제($ \kappa \gg 1 $)에서는 SAG와 SVRG와 같은 증분 방법이 표준 제1차 방법보다 현저히 뛰어나며, 후자는 $ \Omega(1/k) $ 수렴에 국한된다.
• 이 하한은 현재까지 무작위 알고리즘에는 확장되지 않았지만, 저자들은 유사한 하한이 성립할 것으로 추측하고 있으며 무작위 경우에 대한 증명을 준비 중이다.
• i.i.d. 데이터를 갖는 통계적 설정에서는 최악의 경우 분석이 실질적 성능을 반영하지 못할 수 있으며, ASDCA와 같은 방법은 SAG와 같은 IFO 방법보다 열악할 수 있다. 이는 문제에 따라 달라지는 상수의 중요성을 강조한다.