[논문 리뷰] Lower Bounds for Smooth Nonconvex Finite-Sum Optimization

Dongruo Zhou, Quanquan Gu|arXiv (Cornell University)|2019. 01. 31.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 7

한 줄 요약

이 논문은 매끄럽고 비볼록 유한합 최적화에서 증분 제1차 오라클(Implicit First-Order, IFO) 복잡도에 대한 날카운 하한을 확립하며, KatyushaX, Natasha, RapGrad, StagewiseKatyusha와 같은 기존 알고리즘들이 헤시안 고유값의 다양한 영역에서 로그 인자 이외의 요소에서 최적의 IFO 복잡도를 달성함을 증명한다. 결과적으로 일반적인 매끄러움 조건 하에서 이러한 방법들의 최적성 문제가 해결된다.

ABSTRACT

Smooth finite-sum optimization has been widely studied in both convex and nonconvex settings. However, existing lower bounds for finite-sum optimization are mostly limited to the setting where each component function is (strongly) convex, while the lower bounds for nonconvex finite-sum optimization remain largely unsolved. In this paper, we study the lower bounds for smooth nonconvex finite-sum optimization, where the objective function is the average of $n$ nonconvex component functions. We prove tight lower bounds for the complexity of finding $ε$-suboptimal point and $ε$-approximate stationary point in different settings, for a wide regime of the smallest eigenvalue of the Hessian of the objective function (or each component function). Given our lower bounds, we can show that existing algorithms including KatyushaX (Allen-Zhu, 2018), Natasha (Allen-Zhu, 2017), RapGrad (Lan and Yang, 2018) and StagewiseKatyusha (Chen and Yang, 2018) have achieved optimal Incremental First-order Oracle (IFO) complexity (i.e., number of IFO calls) up to logarithm factors for nonconvex finite-sum optimization. We also point out potential ways to further improve these complexity results, in terms of making stronger assumptions or by a different convergence analysis.

연구 동기 및 목표

• 이전 연구가 주로 볼록 또는 강볼록 설정에 집중한 바, 매끄럽고 비볼록 유한합 최적화에 대한 하한 이론적 이해의 격차를 메우기 위해.
• 비볼록 유한합 문제에서 ε-하위최적해와 ε-근사 정류점(Stationary Point)을 찾는 데 필요한 IFO 복잡도의 기본 한계를 설정하기 위해.
• 헤시안의 최소 고유값(l)이 알고리즘 복잡도에 미치는 영향을 분석하여, 볼록 및 비볼록 영역을 모두 포함하기 위해.
• 유래된 하한과 기존 최첨단 알고리즘의 IFO 복잡도를 비교하여 그 최적성의 타당성을 검증하기 위해.
• 더 강한 가정이나 정교한 수렴 분석을 통해 추가로 향상 가능할 잠재적 방향을 규명하기 위해.

제안 방법

• 특정 매끄러움 및 헤시안 고유값 성질을 가진 유한합 문제를 철저히 설계하여 하한을 유도한다.
• 함수 스케일링 및 변환을 통해 알려진 볼록 최적화에서의 어려운 문제에서 비볼록 유한합 설정으로의 감소 프레임워크를 적용한다.
• 일반적인 제1차 방법을 모델링하고 복잡도 하한을 도출하기 위해 선형 스펜 제1차 랜덤 알고리즘의 개념을 적용한다.
• 함수 값을 및 거리 값을 조정하면서도 매끄러움과 헤시안 구조를 유지하기 위해 스케일링(f_i = λ·f̄_i(x/β))을 통한 함수 변환을 활용한다.
• 반복값의 지지 집합과 희소성 성질을 활용하여, 부족한 IFO 호출 수가 큰 하위최적성 또는 높은 기울기 노름을 초래함을 보여준다.
• 모든 (l, L)-매끄러움 조건 하에서, ε-하위최적해(볼록/강볼록 케이스) 및 ε-근사 정류점(비볼록 케이스)에 대한 하한을 증명한다.

실험 결과

연구 질문

• RQ1 매끄럽고 비볼록 유한합 최적화에서 ε-하위최적해를 찾는 데 있어 IFO 복잡도에 대한 가장 날카로운 가능한 하한은 무엇인가?
• RQ2 최소 헤시안 고유값(l)은 비볼록 유한합 문제에서의 기본 복잡도 한계에 어떻게 영향을 미치는가?
• RQ3 KatyushaX, Natasha, RapGrad, StagewiseKatyusha와 같은 기존 알고리즘이 비볼록 유한합 문제에서 IFO 복잡도 측면에서 최적인가?
• RQ4 더 강한 가정이나 다른 수렴 분석 기법을 통해 제1차 방법의 IFO 복잡도를 추가로 향상시킬 수 있는가?
• RQ5 헤시안 구조와 함수 변환은 비볼록 유한합 문제의 하한 유도에 어떤 역할을 하는가?

주요 결과

• 논문은 F가 σ-강볼록일 경우 ε-하위최적해를 찾는 데 대해 Ω(n + n^{3/4}√(L/σ) log(1/ε))의 하한을 증명하며, 이는 KatyushaX의 IFO 복잡도와 로그 인자 이외에는 정확히 일치한다.
• F가 볼록일 경우(l ≥ 0), 하한은 Ω(n + n^{3/4}√(L/ε))이며, 이는 Duality 없이도 SDCA와 KatyushaX의 복잡도와 일치한다.
• 비볼록 F의 경우(l = -σ < 0)에 대해 ε-근사 정류점을 찾는 데 대한 하한은 Ω((nσ + √(nσL))/ε²)이며, 이는 RapGrad와 StagewiseKatyusha의 복잡도와 일치한다.
• 이 하한은 최소 헤시안 고유값 l의 광범위한 영역에서 날카로운데, 볼록 및 비볼록 케이스를 모두 포함한다.
• 기존 알고리즘인 KatyushaX, Natasha, RapGrad, StagewiseKatyusha의 IFO 복잡도가 로그 인자 이내에서 최적임을 확인한다.
• 논문은 더 강한 가정이나 다른 수렴 분석 기법을 통해 추가 향상이 가능할 수 있음을 규명한다.