[논문 리뷰] A Generic Descent Aggregation Framework for Gradient-based Bi-level Optimization.

Risheng Liu, Pan Mu외 3명|arXiv (Cornell University)|2021. 02. 16.

Sparse and Compressive Sensing Techniques참고 문헌 50인용 수 4

한 줄 요약

이 논문은 기존의 기울기 기반 이중 최적화 방법에서 제한적인 하위 수준 단일성(Lower-Level Singleton, LLS) 가정을 제거하기 위해 일반적인 이중 내림값 집합(Bi-level Descent Aggregation, BDA) 프레임워크를 제안한다. 계층적 목적 함수를 집계하고 작업에 맞는 반복 동역학을 가능하게 함으로써, BDA는 LLS 조건 없이 수렴성을 보장하며, 한 단계 기법을 통해 역전파를 가속화하여 하이퍼파rameter 튜닝과 메타학습에서 기존 방법들을 능가한다.

ABSTRACT

In recent years, gradient-based methods for solving bi-level optimization tasks have drawn a great deal of interest from the machine learning community. However, to calculate the gradient of the best response, existing research always relies on the singleton of the lower-level solution set (a.k.a., Lower-Level Singleton, LLS). In this work, by formulating bi-level models from an optimistic bi-level viewpoint, we first establish a novel Bi-level Descent Aggregation (BDA) framework, which aggregates hierarchical objectives of both upper level and lower level. The flexibility of our framework benefits from the embedded replaceable task-tailored iteration dynamics modules, thereby capturing a wide range of bi-level learning tasks. Theoretically, we derive a new methodology to prove the convergence of BDA framework without the LLS restriction. Besides, the new proof recipe we propose is also engaged to improve the convergence results of conventional gradient-based bi-level methods under the LLS simplification. Furthermore, we employ a one-stage technique to accelerate the back-propagation calculation in a numerical manner. Extensive experiments justify our theoretical results and demonstrate the superiority of the proposed algorithm for hyper-parameter optimization and meta-learning tasks.

연구 동기 및 목표

• 기존의 기울기 기반 이중 최적화 방법이 제한적인 하위 수준 단일성(Lower-Level Singleton, LLS) 가정에 의존하는 한계를 해결한다.
• 다양한 이중 최적화 학습 작업을 포괄할 수 있도록 교체 가능한, 작업 맞춤형 반복 동역학을 갖춘 탄력적인 프레임워크를 개발한다.
• LLS 조건을 필요로 하지 않는 새로운 이론적 증명 체계를 수립하여 BDA 프레임워크의 수렴성을 입증한다.
• 제안된 증명 기법을 활용해 LLS 단순화 조건 하에서 기존 기울기 기반 이중 최적화 방법의 수렴 보장을 강화한다.
• 기존의 계산 오버헤드를 줄이는 새로운 한 단계 기법을 통해 이중 최적화에서의 역전파를 가속화한다.

제안 방법

• 상위 및 하위 수준에서 계층적 목적 함수 집합이 가능하도록, 낙관적인 이중 최적화 관점에서 이중 최적화를 재수립한다.
• 작업에 맞는 적응을 위한 모듈러하고 교체 가능한 반복 동역학을 갖춘 이중 내림값 집합(Bi-level Descent Aggregation, BDA) 프레임워크를 설계한다.
• LLS 가정을 필요로 하지 않는 새로운 수렴 증명 방법론을 유도하여 더 넓은 이론적 타당성을 확보한다.
• 새로운 증명 체계를 적용해 LLS 단순화 조건 하에서 기존 기울기 기반 이중 최적화 방법의 수렴 결과를 개선한다.
• 기울기 계산의 계산 오버헤드를 줄이기 위해 역전파를 가속화하는 데 사용되는 새로운 한 단계 기법을 구현한다.
• 하이퍼파rameter 최적화 및 메타학습을 위한 표준 이중 최적화 학습 파이프라인에 BDA 프레임워크를 통합한다.

실험 결과

연구 질문

• RQ1 제한적인 하위 수준 단일성(LLS) 가정 없이도 작동할 수 있는 일반적인 이중 최적화 프레임워크를 설계할 수 있는가?
• RQ2 상위 및 하위 수준의 계층적 목적 함수를 어떻게 효과적으로 집계할 수 있으며, 이를 통해 다양한 학습 작업을 지원할 수 있는가?
• RQ3 LLS에 의존하지 않고도 이중 최적화 방법의 수렴성을 입증할 수 있는 새로운 이론적 증명 체계를 개발할 수 있는가?
• RQ4 제안된 증명 체계는 LLS 조건 하에서 기존 기울기 기반 이중 최적화 방법의 수렴 보장에 얼마나 향상시킬 수 있는가?
• RQ5 실제로 계산 비용을 줄이는 데 있어 한 단계 역전파 가속 기법은 얼마나 효과적인가?

주요 결과

• BDA 프레임워크는 하위 수준 단일성(LLS) 가정 없이도 수렴성을 확보하여 이중 최적화의 이론적 범위를 넓혔다.
• 제안된 증명 체계는 LLS 단순화 조건 하에서 기존 기울기 기반 이중 최적화 방법의 수렴 결과를 향상시켰다.
• 한 단계 역전파 기법은 BDA 프레임워크 내에서 기울기 계산을 상당히 가속화했다.
• 광범위한 실험을 통해 이론적 주장이 확인되었으며, 하이퍼파rameter 튜닝 과제에서 뛰어난 성능을 보였다.
• 기존 방법들과 비교해 메타학습 벤치마크에서 BDA 프레임워크는 뚜렷한 경험적 우수성을 보였다.
• BDA의 모듈러 설계 덕분에 작업 맞춤형 반복 동역학을 통해 다양한 이중 최적화 학습 작업에 효과적으로 적응할 수 있었다.