[논문 리뷰] Lower Bounds and Accelerated Algorithms for Bilevel Optimization

Kaiyi Ji, Yingbin Liang|arXiv (Cornell University)|2021. 02. 07.

Sparse and Compressive Sensing Techniques참고 문헌 60인용 수 16

한 줄 요약

이 논문은 강凸-강凸 및 약凸-강凸 설정에서 이중 최적화의 알려진 최초의 하한 복잡도를 확립하며, 이중 최적화가 최소화-최대화 최적화보다 증명 가능하게 더 어렵다는 것을 입증한다. 이는 기존 분석에서 요구된 경사 범위 가정 없이 최적 수렴 속도를 달성하는 가속화된 이중 최적화 알고리즘인 AccBiO를 제안한다. 이중 문제의 이차형 내부 문제와 일정한 조건 수치를 가진 경우, 하한과 로그 인자 정도로 일치한다.

ABSTRACT

Bilevel optimization has recently attracted growing interests due to its wide applications in modern machine learning problems. Although recent studies have characterized the convergence rate for several such popular algorithms, it is still unclear how much further these convergence rates can be improved. In this paper, we address this fundamental question from two perspectives. First, we provide the first-known lower complexity bounds of $\widetildeΩ(\frac{1}{\sqrt{μ_x}μ_y})$ and $\widetilde Ω\big(\frac{1}{\sqrtε}\min\{\frac{1}{μ_y},\frac{1}{\sqrt{ε^{3}}}\}\big)$ respectively for strongly-convex-strongly-convex and convex-strongly-convex bilevel optimizations. Second, we propose an accelerated bilevel optimizer named AccBiO, for which we provide the first-known complexity bounds without the gradient boundedness assumption (which was made in existing analyses) under the two aforementioned geometries. We also provide significantly tighter upper bounds than the existing complexity when the bounded gradient assumption does hold. We show that AccBiO achieves the optimal results (i.e., the upper and lower bounds match up to logarithmic factors) when the inner-level problem takes a quadratic form with a constant-level condition number. Interestingly, our lower bounds under both geometries are larger than the corresponding optimal complexities of minimax optimization, establishing that bilevel optimization is provably more challenging than minimax optimization.

연구 동기 및 목표

• 이중 최적화의 기본 계산 한계를 정밀하게 하한 복잡도 한계로 규명함으로써, 이중 최적화의 본질적 계산 복잡도를 규명한다.
• 이중 최적화가 최소화-최대화 최적화보다 증명 가능하게 더 복잡한가라는 열린 질문을 해결한다.
• 이전 분석에서 사용된 강력한 경사 범위 가정에 의존하지 않고도 수렴하는 가속화된 이중 최적화 알고리즘을 설계한다.
• 특히 이차형 내부 문제와 일정한 조건 수치를 가진 경우, 유리한 기하학적 조건 하에서 유도된 하한과 일치하는 최적 수렴 속도를 달성한다.

제안 방법

• 대립적 구성 기법을 사용하여 하한 복잡도 한계를 유도하며, 각각 강凸-강凸 및 약凸-강凸 설정에서 Ω̃(1/(√μₓ μᵧ)) 및 Ω̃(1/(√ε min{1/μᵧ, 1/√ε³)))를 확립한다.
• Nesterov 스타일의 가속화와 적응형 내부 루프 해결 기법을 통합한 새로운 이중 최적화 알고리즘인 AccBiO를 제안하여 경사 범위 가정에 의존하지 않는다.
• 이중 루프 구조를 사용하며, 내부 반복 수 M과 N은 조건 수와 목표 정확도에 따라 선택된다.
• 비연속성을 다루기 위해 외부 목표 함수 Φ(x)의 스무스화된 근사치를 도입하고, 수정된 리아푸노프 함수를 통해 가속화된 수렴을 가능하게 한다.
• 경사 노름에 대한 가정 없이도 초기화 오차 추정 및 외부 목표 함수 진전을 동시에 제한하는 새로운 분석 프레임워크를 도입한다.
• 외부 루프에서 재귀적 오차 분해와 기하급수적 감쇠를 적용하여 로그 인자 조정을 통해 최적의 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 강凸-강凸 및 약凸-강凸 설정에서 이중 최적화의 최적 계산 복잡도는 무엇인가?
• RQ2 이중 최적화는 최소화-최대화 최적화보다 증명 가능하게 더 계산적으로 도전적인가?
• RQ3 경사 범위 가정 없이도 최적 수렴 속도를 달성하는 가속화된 이중 최적화 알고리즘을 설계할 수 있는가?
• RQ4 유도된 하한 복잡도는 문헌에 기록된 기존 상한 복잡도와 어떻게 비교되는가?
• RQ5 제안된 AccBiO 알고리즘이 하한 복잡도와 일치하는 최적 복잡도를 달성하는 조건은 무엇인가?

주요 결과

• 논문은 강凸-강凸 케이스에 대해 Õ(1/(√μₓ μᵧ))의 알려진 최초의 하한 복잡도 한계와 약凸-강凸 케이스에 대해 Õ(1/(√ε min{1/μᵧ, 1/√ε³)))의 하한 복잡도 한계를 확립한다.
• 이중 최적화의 하한 복잡도는 최소화-최대화 최적화의 최적 복잡도보다 엄격히 크며, 이는 이중 최적화가 증명 가능하게 더 어렵다는 것을 입증한다.
• AccBiO는 이전 분석에서 요구된 경사 범위 가정 없이도 최적 수렴 복잡도를 달성한다.
• 이차형 내부 문제와 일정한 조건 수치를 가진 경우, AccBiO는 하한 복잡도와 로그 인자 정도로 일치하여 최적성을 확보한다.
• 경사 범위 가정이 성립할 경우, AccBiO의 총 복잡도는 이전 결과보다 훨씬 날카롭게 개선되어 기존의 O(1/μᵧ⁶.⁷⁵ε⁰.⁷⁵) 상한 복잡도를 초월한다.
• 강凸-강凸 케이스에서 AccBiO의 총 복잡도는 Õ(√(L̃ᵧ/(μₓ μᵧ⁴)) log(poly(μₓ, μᵧ, U, Φ(x₀)−Φ(x*)))/ε)이며, 로그 인자 정도로 하한 복잡도와 일치한다.