[논문 리뷰] Bilevel Optimization: Convergence Analysis and Enhanced Design

Kaiyi Ji, Junjie Yang외 1명|arXiv (Cornell University)|2020. 10. 15.

Stochastic processes and financial applications인용 수 32

한 줄 요약

본 논문은 결정론적 ITD- 및 AID 기반 방법에 대한 통합된 비볼록-강볼록 바일레얼 최적화 분석을 제공하고, 수렴 보장을 개선한 샘플 효율적인 확률적 방법(stocBiO)을 도입한다.

ABSTRACT

Bilevel optimization has arisen as a powerful tool for many machine learning problems such as meta-learning, hyperparameter optimization, and reinforcement learning. In this paper, we investigate the nonconvex-strongly-convex bilevel optimization problem. For deterministic bilevel optimization, we provide a comprehensive convergence rate analysis for two popular algorithms respectively based on approximate implicit differentiation (AID) and iterative differentiation (ITD). For the AID-based method, we orderwisely improve the previous convergence rate analysis due to a more practical parameter selection as well as a warm start strategy, and for the ITD-based method we establish the first theoretical convergence rate. Our analysis also provides a quantitative comparison between ITD and AID based approaches. For stochastic bilevel optimization, we propose a novel algorithm named stocBiO, which features a sample-efficient hypergradient estimator using efficient Jacobian- and Hessian-vector product computations. We provide the convergence rate guarantee for stocBiO, and show that stocBiO outperforms the best known computational complexities orderwisely with respect to the condition number $κ$ and the target accuracy $ε$. We further validate our theoretical results and demonstrate the efficiency of bilevel optimization algorithms by the experiments on meta-learning and hyperparameter optimization.

연구 동기 및 목표

• ITD-BiO 및 AID-BiO를 활용한 결정론적 바일레얼 최적화에 대한 더 예리한 수렴 속도 이론을 개발한다.
• 향상된 복잡도와 함께 더 샘플 효율적인 확률적 바일레얼 옵티마이저(stocBiO)를 제안한다.
• ITD 기반 접근법과 AID 기반 접근법을 비교하고 계산적 트레이드오프를 정량화한다.
• 메타러닝과 하이퍼파라미터 최적화에 이론을 적용하여 성능을 검증한다.

제안 방법

• 내부 루프와 외부 루프 업데이트를 통한 비볼록-강볼록 바일레얼 문제를 분석한다.
• 근사 암시 미분(AID)과 반복적 미분(ITD)을 사용하여 하이퍼그래디언트 추정기를 구성한다.
• 복잡도 향상을 위한 내부 루프와 외부 루프 추적의 워밍 스타트를 도입한다.
• stocBiO를 위한 네우만 급수 기반의 확률적 하이퍼그래디언트 추정기를 개발한다.
• 결정론적(AID-BiO, ITD-BiO) 및 확률적(stocBiO) 설정에 대한 복잡도 보장을 제공한다.
• 선행 연구에 비해 조건수와 정확도 의존성이 개선됨을 보여준다.

실험 결과

연구 질문

• RQ1 비볼록-강볼록 바일레얼 문제에서 AID-BiO와 ITD-BiO의 비점근적 수렴 속도는 무엇인가?
• RQ2 웜 스타트 및 내부 루프 추적이 수렴성과 계산 비용에 어떻게 영향을 미치는가?
• RQ3 네우만 시리즈 기반 하이퍼그래디언트 추정이 포함된 확률적 바일레얼 옵티마이저가 기존 방법보다 더 나은 샘플 및 계산 효율성을 달성할 수 있는가?
• RQ4 제안된 방법들이 메타러닝과 하이퍼파라미터 최적화 과제에서 구체적인 개선점을 제공하는가?

주요 결과

• AID-BiO는 이전 연구에 비해 그래디언트, 야코비안- 및 해시안-벡터 곱 복잡도를 개선한다.
• ITD-BiO는 검증된 수렴 속도로 분석되어 AID-BiO와의 직접 비교를 가능하게 한다.
• stocBiO 알고리즘은 확률적 바일레얼 최적화에 대한 우수한 복잡도 보장을 달성하여 핵심 지표에서 기존 방법을 능가한다.
• 통합 분석을 통해 AID- 및 ITD 기반 방법이 조건수에 따라 뚜렷한 계산적 트레이드오프를 갖는다는 것을 보여준다.
• 메타러닝 및 하이퍼파라미터 최적화 실험은 이론적 개선과 효율성 향상을 검증한다.