[논문 리뷰] Provably Faster Algorithms for Bilevel Optimization

Junjie Yang, Kaiyi Ji외 1명|arXiv (Cornell University)|2021. 06. 08.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 9

한 줄 요약

이 논문은 이중 루프 구조에서 재귀적 기울기 추정과 분산 감소를 사용하는 두 가지 새로운 이중 최적화 알고리즘—VRBO 및 그 변종—을 제안한다. 모멘텀과 저분산 기울기 추정기를 활용함으로써, 이 방법들은 𝒪̃(ε⁻¹.⁵)의 증명 가능하게 빠른 수렴 속도를 달성하여, 이전의 SGD 기반 및 모멘텀 기반 알고리즘의 한계인 𝒪̃(ε⁻²)을 초월한다.

ABSTRACT

Bilevel optimization has been widely applied in many important machine learning applications such as hyperparameter optimization and meta-learning. Recently, several momentum-based algorithms have been proposed to solve bilevel optimization problems faster. However, those momentum-based algorithms do not achieve provably better computational complexity than $\mathcal{\widetilde O}(ε^{-2})$ of the SGD-based algorithm. In this paper, we propose two new algorithms for bilevel optimization, where the first algorithm adopts momentum-based recursive iterations, and the second algorithm adopts recursive gradient estimations in nested loops to decrease the variance. We show that both algorithms achieve the complexity of $\mathcal{\widetilde O}(ε^{-1.5})$, which outperforms all existing algorithms by the order of magnitude. Our experiments validate our theoretical results and demonstrate the superior empirical performance of our algorithms in hyperparameter applications.

연구 동기 및 목표

• 기존의 모멘텀 기반 이중 최적화 기법들이 실증적으로 성공함에도 불구하고, 수렴 속도가 더 빠른 것을 증명할 수 없는 문제를 해결한다.
• 기존 알고리즘이 단지 𝒪̃(ε⁻²) 복잡도에 머무르며 SGD 기반 방법과 동일한 수준에 머무르는 이론적 한계를 극복한다.
• 분산 감소 기법을 활용한 이중 루프 이중 최적화 기법을 설계하여 계산 복잡도를 순서적으로 낮춘다.
• 비용이 많이 들지 않는 행렬-벡터 곱셈을 유지하면서 고비용의 헤시안 역행렬 계산을 피한다.
• ε-정확도의 정류점에 수렴하는 데 이론적 보장을 확보하며, 샘플 수와 헤시안-벡터 복잡도를 향상시킨다.

제안 방법

• 재귀적 기울기 추정을 사용해 초기 기울기 추정의 분산을 줄이는 이중 루프 이중 최적화 기법인 VRBO를 제안한다.
• SVRG와 SPIDER에 영감을 받은 분산 감소 프레임워크를 적용하여, 주기적으로 고정밀 기울기를 재계산함으로써 업데이트의 안정성을 높인다.
• 외부 변수 x에 대해 모멘텀 기반 재귀 업데이트를 도입하여 이전 정보를 통합함으로써 수렴 속도를 가속화한다.
• 내부 루프에서 각 외부 반복마다 고정된 수의 단계로 y를 업데이트하여 기울기 노이즈를 줄인다.
• 편향이 있는 확률적 추정치를 보정하기 위해 주기적으로 전체 배치 기울기 평가를 수행하여 수렴 안정성을 확보한다.
• 리프시츠 연속성, 강凸성, 유한한 분산 등의 가정을 바탕으로 기울기 및 헤시안-벡터 복잡도에 대한 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 모멘텀 기반 이중 최적화 기법이 기존의 SGD 기반 및 모멘텀 기반 방법보다 증명 가능하게 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 이중 루프 구조에서의 분산 감소가 이중 최적화에서 증명 가능하게 낮은 계산 복잡도를 이끌어낼 수 있는가?
• RQ3 비용이 많이 들지 않는 계산을 유지하면서도 고비용의 헤시안 역행렬 계산 없이 𝒪̃(ε⁻¹.⁵) 복잡도를 달성할 수 있는가?
• RQ4 제안된 방법의 이론적 복잡도 향상은 하이퍼파ram터 튜닝 및 메타러닝에서의 실증 성능과 일치하는가?
• RQ5 동일한 정확도 목표 하에서 이전 방법보다 더 낮은 기울기 및 헤시안-벡터 복잡도를 달성할 수 있는가?

주요 결과

• 제안된 VRBO 알고리즘은 𝒪̃(ε⁻¹.⁵)의 기울기 복잡도를 달성하여, 이전에 알려진 최고 수준의 복잡도인 𝒪̃(ε⁻²)보다 한 순서대 빠른 개선을 보였다.
• 헤시안-벡터 복잡도 역시 𝒪̃(ε⁻¹.⁵)으로 나타나, 초기 기울기 추정의 효율적인 계산을 의미한다.
• 비용이 저렴한 행렬-벡터 곱셈을 통해 저비용 계산을 유지하면서도 명시적인 헤시안 역행렬 계산을 피한다.
• 이론적 분석을 통해 표준 가정 하에 알고리즘이 고확률로 ε-정확도의 정류점에 수렴함을 확인하였다.
• 실증 결과는 이론적 결과를 검증하였으며, stocBiO, MSTSA, SEMA, STABLE와 비교해 하이퍼파ram터 최적화 과제에서 뛰어난 성능을 보였다.
• 주요 하이퍼파ram터를 적절히 설정함으로써 복잡도 경계가 달성되었다: S₁ = 𝒪(ε⁻¹), S₂ = 𝒪(ε⁻⁰.⁵), Q = 𝒪(log(1/ε⁰.⁵)), K = 𝒪(ε⁻¹).