[논문 리뷰] BiAdam: Fast Adaptive Bilevel Optimization Methods

Feihu Huang, Li, Junyi외 1명|arXiv (Cornell University)|2021. 06. 21.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 7

한 줄 요약

이 논문은 비볼록 외부 목표와 강하게 볼록한 내부 목표를 가진 확률적 비선형 이중목표 최적화 문제에 대해 적응형 학습률, 모멘타ム, 분산 감소를 통합한 새로운 빠른 적응형 이중목표 최적화 방법인 BiAdam을 제안한다. 이는 $\tilde{O}(\epsilon^{-4})$의 샘플 복잡도를 달성하여 $\epsilon$-정류해를 찾고, 가속화된 변형(VR-BiAdam)은 $\tilde{O}(\epsilon^{-3})$에 도달하여 기존에 알려진 최고의 복잡도와 일치한다.

ABSTRACT

Bilevel optimization recently has attracted increased interest in machine learning due to its many applications such as hyper-parameter optimization and meta learning. Although many bilevel methods recently have been proposed, these methods do not consider using adaptive learning rates. It is well known that adaptive learning rates can accelerate optimization algorithms. To fill this gap, in the paper, we propose a novel fast adaptive bilevel framework to solve stochastic bilevel optimization problems that the outer problem is possibly nonconvex and the inner problem is strongly convex. Our framework uses unified adaptive matrices including many types of adaptive learning rates, and can flexibly use the momentum and variance reduced techniques. In particular, we provide a useful convergence analysis framework for the bilevel optimization. Specifically, we propose a fast single-loop adaptive bilevel optimization (BiAdam) algorithm, which achieves a sample complexity of $ ilde{O}(ε^{-4})$ for finding an $ε$-stationary solution. Meanwhile, we propose an accelerated version of BiAdam algorithm (VR-BiAdam), which reaches the best known sample complexity of $ ilde{O}(ε^{-3})$. To the best of our knowledge, we first study the adaptive bilevel optimization methods with adaptive learning rates. Experimental results on data hyper-cleaning and hyper-representation learning tasks demonstrate the efficiency of our algorithms.

연구 동기 및 목표

• 기존 최적화에서 수렴 속도를 가속화하는 것으로 알려진 이중목표 최적화에 적응형 학습률 방법의 부재를 해결하기 위해.
• 이중목표 문제에 대해 적응형 행렬, 모멘타ム, 분산 감소를 통합하는 통합 프레임워크를 개발하기 위해.
• 비볼록 외부 목표와 강하게 볼록한 내부 목표 하에서 적응형 이중목표 방법의 수렴 분석 프레임워크를 구축하기 위해.
• 적응형 학습률을 사용한 이중목표 최적화에서 최신 기술 수준의 샘플 복잡도를 달성하기 위해.
• 제안된 방법의 효율성을 하이퍼청소 및 하이퍼표현 학습 작업에서 경험적으로 검증하기 위해.

제안 방법

• 다양한 적응형 학습률을 지원하기 위해 통합된 적응형 행렬을 사용하는 단일 루프 적응형 이중목표 알고리즘인 BiAdam을 제안한다.
• 수렴 속도를 향상시키기 위해 분산 감소 기법을 사용하는 가속화된 변형인 VR-BiAdam을 도입한다.
• 이중목표 최적화 구조 내에서 모멘타ム과 적응형 학습률을 탄력적으로 통합할 수 있도록 통합 프레임워크를 활용한다.
• 외부 기울기의 기대 노름을 제한하는 새로운 분석 프레임워크를 통해 수렴 보장을 유도한다.
• 외부 기울기 분산의 재귀적 추정을 통해 업데이트되는 $A_t$를 사용해 $x$ 및 $y$ 방향의 기울기를 스케일링한다.
• 안정성과 수렴을 보장하기 위해 $\gamma$를 사용한 선 탐색 유사 단계를 $x_t$ 업데이트에 적용한다.

실험 결과

연구 질문

• RQ1 적응형 학습률가 이중목표 최적화에 효과적으로 통합되어 수렴 속도와 샘플 효율성을 향상시킬 수 있는가?
• RQ2 모멘타ム과 분산 감소를 갖춘 단일 루프 적응형 이중목표 방법의 이론적 샘플 복잡도는 무엇인가?
• RQ3 제안된 프레임워크는 기존의 이중목표 방법과 수렴 속도와 샘플 복잡도 측면에서 어떻게 비교되는가?
• RQ4 제안된 방법은 하이퍼파ram터 최적화 및 메타학습 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 적응형 행렬과 분산 감소는 이중목표 최적화의 안정성과 수렴에 어떤 영향을 미치는가?

주요 결과

• BiAdam는 $\epsilon$-정류해를 찾기 위해 $\tilde{O}(\epsilon^{-4})$의 샘플 복잡도를 달성하여 이전의 비적응형 방법보다 향상되었다.
• 가속화된 변형인 VR-BiAdam는 기존에 알려진 최고의 샘플 복잡도인 $\tilde{O}(\epsilon^{-3})$를 달성하여 이론적 하한선과 일치한다.
• 수렴 분석은 립시츠 연속성과 강한 볼록성 등의 표준 가정 하에서 적응형 이중목표 최적화를 위한 엄밀한 프레임워크를 구축한다.
• 데이터 하이퍼청소 및 하이퍼표현 학습에 대한 경험적 결과에서 BiAdam과 VR-BiAdam가 기존 방법보다 수렴 속도와 최종 성능에서 뛰어난 성능을 보였다.
• 적응형 행렬과 분산 감소의 사용은 노이즈가 많은 기울기 추정에도 불구하고 안정적이고 빠른 수렴을 이끌어낸다.
• 이 방법은 적응형 학습률을 갖춘 이중목표 최적화를 체계적으로 연구한 최초의 방법으로, 문헌에서 핵심적 간극을 메운다.