[논문 리뷰] Bilevel Optimization: Nonasymptotic Analysis and Faster Algorithms

Kaiyi Ji, Junjie Yang외 1명|arXiv (Cornell University)|2020. 10. 15.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 11

한 줄 요약

이 논문은 비볼록-강볼록 설정에서 이중 최적화의 비점근적 유한시간 수렴 분석을 제안하며, 자코비안 및 헤시안-벡터 곱을 통한 샘플 효율적인 초기경사도 추정을 통해 stocBiO 알고리즘을 제안한다. ITD 기반 방법의 첫 번째 수렴 속도를 확립하고, 실용적인 파라미터 선택과 웜 스타트를 통해 이전의 AID 분석을 향상시켜, 하이퍼파rameter 최적화 및 메타학습 분야에서 기존 방법보다 순서적으로 더 나은 복잡도를 보인다.

ABSTRACT

Bilevel optimization has arisen as a powerful tool for many machine learning problems such as meta-learning, hyperparameter optimization, and reinforcement learning. In this paper, we investigate the nonconvex-strongly-convex bilevel optimization problem. For deterministic bilevel optimization, we provide a comprehensive finite-time convergence analysis for two popular algorithms respectively based on approximate implicit differentiation (AID) and iterative differentiation (ITD). For the AID-based method, we orderwisely improve the previous finite-time convergence analysis due to a more practical parameter selection as well as a warm start strategy, and for the ITD-based method we establish the first theoretical convergence rate. Our analysis also provides a quantitative comparison between ITD and AID based approaches. For stochastic bilevel optimization, we propose a novel algorithm named stocBiO, which features a sample-efficient hypergradient estimator using efficient Jacobian- and Hessian-vector product computations. We provide the finite-time convergence guarantee for stocBiO, and show that stocBiO outperforms the best known computational complexities orderwisely with respect to the condition number $\kappa$ and the target accuracy $\epsilon$. We further validate our theoretical results and demonstrate the efficiency of bilevel optimization algorithms by the experiments on meta-learning and hyperparameter optimization. Our code for stocBiO and its comparison to other algorithms is available online$^1$.

연구 동기 및 목표

• 이중 최적화에서 반복 미분(ITD)에 대한 유한시간 수렴 보장의 부족을 해결한다.
• 실용적인 파라미터 선택과 웜 스타트 전략을 통해 AID 기반 방법의 유한시간 수렴 분석을 향상시킨다.
• 계산 비용을 줄이기 위해 샘플 효율적인 초기경사도 추정기를 개발한다.
• 조건 수 κ와 목표 정밀도 ε에 대해 더 나은 의존성으로 제안된 stocBiO 알고리즘의 유한시간 수렴 보장을 제공한다.
• 메타학습 및 하이퍼파rameter 최적화 벤치마크에서 이론적 결과를 실증적으로 검증한다.

제안 방법

• 초기경사도 추정을 위한 자코비안 및 헤시안-벡터 곱의 효율적 계산을 사용하는 새로운 스토하스틱 이중 최적화 알고리즘 stocBiO를 제안한다.
• 더 나은 시작점으로 초기화함으로써 AID 기반 방법의 수렴 속도를 가속화하는 웜 스타트 전략을 도입한다.
• 비볼록-강볼록 가정 하에 AID 및 ITD 기반 방법의 유한시간 수렴 속도를 유도한다.
• 완전한 헤시안 행렬 계산을 피함으로써 분산과 계산 오버헤드를 줄이는 샘플 효율적인 초기경사도 추정기를 사용한다.
• 내부 루프는 하위 문제를 해결하고 외부 루프는 추정된 초기경사도를 사용해 상위 수준 파라미터를 갱신하는 이중 루프 구조를 채택한다.
• 조건 수 κ와 정밀도 ε에 대해 이전 연구 대비 순서적으로 향상된 이론적 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 비볼록-강볼록 설정 하에서 ITD 기반 이중 최적화 방법의 유한시간 수렴 속도는 무엇인가?
• RQ2 웜 스타트와 실용적인 파라미터 선택을 통한 제안된 AID 기반 방법은 이전의 유한시간 분석에 비해 어떻게 향상되는가?
• RQ3 스토하스틱 이중 최적화 알고리즘이 조건 수 κ와 정밀도 ε 측면에서 기존 방법보다 더 나은 계산 복잡도를 달성할 수 있는가?
• RQ4 stocBiO의 초기경사도 추정기의 샘플 효율성은 분산과 계산 측면에서 이전 접근 방식과 비교해 어떻게 되는가?
• RQ5 stocBiO와 기준 알고리즘 간의 수렴 속도와 계산 비용 사이의 정량적 트레이드오프는 무엇인가?

주요 결과

• ITD 기반 방법은 비볼록-강볼록 이중 최적화에서 처음으로 유한시간 수렴 속도 보장을 확보한다.
• 웜 스타트와 실용적인 파라미터 선택을 통한 AID 기반 방법은 문제에 특화된 상수에 대한 의존도를 줄여 이전의 유한시간 분석을 향상시킨다.
• stocBiO는 조건 수 κ와 목표 정밀도 ε에 대해 기존에 알려진 최고의 방법보다 순서적으로 더 나은 계산 복잡도를 달성한다.
• 제안된 stocBiO의 초기경사도 추정기는 전체 헤시안 행렬 계산 없이 자코비안 및 헤시안-벡터 곱을 활용해 샘플 효율적인 계산을 가능하게 한다.
• 메타학습 및 하이퍼파rameter 최적화에서의 실증 결과는 stocBiO가 기존 알고리즘보다 수렴 속도와 샘플 효율성에서 뛰어남을 보여준다.
• 이론적 분석은 AID와 ITD 접근 방식 간의 정량적 비교를 제공하며, 수렴 속도와 구현 복잡도 사이의 트레이드오프를 보여준다.