[논문 리뷰] BOME! Bilevel Optimization Made Easy: A Simple First-Order Approach

Mao Ye, Бо Лю외 3명|arXiv (Cornell University)|2022. 09. 19.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 은익적 미분을 피하기 위해 값 함수 접근법을 사용해 문제를 재구성하고, 동적 장벽 경사 하강법을 적용함으로써 음이 아닌 차수의 이중 최적화 방법인 BOME을 제안한다. 비볼록 목표 함수에 대해 비점근 수렴성을 확보하여, 완전히 일阶 이중 최적화 방법 중에서 처음으로 이러한 결과를 이룬다. 또한 딥러닝 벤치마크에서 뛰어난 효율성과 성능을 보여준다.

ABSTRACT

Bilevel optimization (BO) is useful for solving a variety of important machine learning problems including but not limited to hyperparameter optimization, meta-learning, continual learning, and reinforcement learning. Conventional BO methods need to differentiate through the low-level optimization process with implicit differentiation, which requires expensive calculations related to the Hessian matrix. There has been a recent quest for first-order methods for BO, but the methods proposed to date tend to be complicated and impractical for large-scale deep learning applications. In this work, we propose a simple first-order BO algorithm that depends only on first-order gradient information, requires no implicit differentiation, and is practical and efficient for large-scale non-convex functions in deep learning. We provide non-asymptotic convergence analysis of the proposed method to stationary points for non-convex objectives and present empirical results that show its superior practical performance.

연구 동기 및 목표

• 대규모 비볼록 딥러닝 문제에 적합한 실용적이고 효율적이며 완전히 일阶 이중 최적화 방법을 개발하기 위해.
• 기존 방법에서 계산 비용이 큰 헤시안 행렬 계산과 은익적 미분이 필요 없도록 제거하기 위해.
• 비볼록 목표 함수에 대해 정(stationary) 점으로의 비점근 수렴 보장을 확립하기 위해, 이는 이전의 완전히 일阶 접근법에서의 격차였다.
• 이론적으로 타당하고 다양한 기계학습 응용 분야에서 실증적으로 효과적인 방법을 제공하기 위해.

제안 방법

• 값 함수 기반 접근법을 사용해 이중 최적화 문제를 단일 수준의 제약 최적화 문제로 재구성하기 위해.
• Gong 등 [16]의 수정된 동적 장벽 경사 하강법을 적용하여 f와 g의 일阶 도함수만 사용하기 위해.
• 최적화 과정에서 정점성(stationarity)을 측정하기 위해 KKT 기반의 손실 함수를 도입하기 위해.
• 헤시안 행렬 계산을 피하기 위해 고차 정보를 포함한 변수에 정지 기능(Stop Gradient)을 적용하기 위해.
• 리프시츠 연속성과 강력한 볼록성에 대한 가정을 활용해 수렴 범위를 유도하기 위해.
• 내부 문제의 최적성 조건을 강제하기 위해 적응형 페널티를 사용하는 장벽 방법을 활용하기 위해.

실험 결과

연구 질문

• RQ1 완전히 일阶 이중 최적화 방법이 비볼록 목표 함수에 대해 비점근 수렴성을 정점으로 확보할 수 있는가?
• RQ2 이러한 방법이 대규모 딥러닝 환경에서 계산적으로 효율적이면서도 실용적으로 효과적인가?
• RQ3 BSG-1 및 BVFSM과 같은 기존 일阶 방법과 비교해 수렴성과 안정성 측면에서 어떻게 다른가?
• RQ4 은익적 미분 없이 일阶 이중 최적화 방법의 이론적 수렴 속도는 무엇인가?
• RQ5 이 방법은 하이퍼파ram터 최적화, 메타러닝, 지속적 학습 작업에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 BOME 방법은 비볼록 f와 g에 대해 비점근 수렴성을 정점으로 확보하여, 완전히 일阶 이중 최적화 방법 중에서 처음으로 이를 달성하였다.
• 수렴 속도는 O(1/(ξK) + exp(−b₁T/2) + ξ¹ᐟ² + 1/(ξ¹ᐟ²K¹ᐟ²) + (1/K ∑χₖ)¹ᐟ²)로 유계이므로 이론적으로 안정성을 보여준다.
• 실증 결과로 BOME는 하이퍼파라미터 튜닝, 메타러닝, 지속적 학습 벤치마크에서 최신 기술을 능가하거나 동등하게 성능을 발휘한다.
• 헤시안 기반 방법보다 훨씬 효율적이며, BVFSM의 하이퍼파라미터 민감성 문제를 피한다.
• 복잡한 튜닝 없이 다양한 딥러닝 작업에서 안정적인 성능을 보여준다.
• 분석을 통해 방법이 반복 수 K와 페널티 파라미터 ξ가 증가할수록 향상되는 속도로 KKT 점으로 수렴함을 입증하였다.