[논문 리뷰] Gradient-based Bi-level Optimization for Deep Learning: A Survey

Can Chen, Xi Chen외 3명|arXiv (Cornell University)|2022. 07. 24.

Advanced Multi-Objective Optimization Algorithms인용 수 10

한 줄 요약

이 종합 검토는 딥러닝에서 기울기 기반 이중 최적화에 대해 포괄적인 개요를 제공하며, 문제를 이중 최적화 과제로 공식화하기 위한 형식적 프레임워크를 제시하고, 명시적 기울기, 프록시, 은닉 함수, 폐쇄형 업데이트의 네 가지 핵심 솔버를 검토한다. 연구자들이 하이퍼파rameter 최적화 및 메타지식 추출 분야에서 실용적인 지침을 받을 수 있도록 하며, 향후 과학적 특징 최적화와 정확한 프록시 업데이트 방향으로 나아간다.

ABSTRACT

Bi-level optimization, especially the gradient-based category, has been widely used in the deep learning community including hyperparameter optimization and meta-knowledge extraction. Bi-level optimization embeds one problem within another and the gradient-based category solves the outer-level task by computing the hypergradient, which is much more efficient than classical methods such as the evolutionary algorithm. In this survey, we first give a formal definition of the gradient-based bi-level optimization. Next, we delineate criteria to determine if a research problem is apt for bi-level optimization and provide a practical guide on structuring such problems into a bi-level optimization framework, a feature particularly beneficial for those new to this domain. More specifically, there are two formulations: the single-task formulation to optimize hyperparameters such as regularization parameters and the distilled data, and the multi-task formulation to extract meta-knowledge such as the model initialization. With a bi-level formulation, we then discuss four bi-level optimization solvers to update the outer variable including explicit gradient update, proxy update, implicit function update, and closed-form update. Finally, we wrap up the survey by highlighting two prospective future directions: (1) Effective Data Optimization for Science examined through the lens of task formulation. (2) Accurate Explicit Proxy Update analyzed from an optimization standpoint.

연구 동기 및 목표

• 딥러닝 응용 분야에 특화된 기울기 기반 이중 최적화의 공식적 정의와 분류 체계를 제공하는 것.
• 연구자들이 하이퍼파rameter 최적화 및 메타지식 추출에 적합한 문제를 식별하고 구조화하는 데 도움을 주는 것.
• 외부 변수를 업데이트하는 데 사용되는 네 가지 주요 솔버인 명시적 기울기, 프록시, 은닉 함수, 폐쇄형 업데이트 간의 비교 및 대조를 수행하는 것.
• 두 가지 향후 연구 방향을 강조하는 것: 과학적 응용 분야에서의 효과적인 데이터 최적화와 최적화 관점에서 정확한 명시적 프록시 업데이트

제안 방법

• 내부 변수를 외부 변수에 의해 매개화된 내부 문제의 최적 해로 정의함으로써, 내부 및 외부 변수를 사용하여 기울기 기반 이중 최적화를 형식화한다.
• 두 가지 작업 공식화를 도입한다: 단일 작업(예: 하이퍼파rameter 최적화)과 다중 작업(예: 메타학습 및 모델 초기화).
• 네 가지 솔버를 검토한다: 내부 최적화를 통해 역전파를 이용한 명시적 기울기 업데이트, 내부 해를 근사하기 위해 학습 가능한 네트워크를 사용하는 프록시 업데이트, 은닉 미분을 통한 은닉 함수 업데이트, 내부 해가 해석적 형태를 가질 경우의 폐쇄형 업데이트.
• 프록시 네트워크가 모델링 사전 지식, 중요도 샘플링, 역매핑, 모델 기반 최적화에서 영감을 얻은 효율적 샘플링 전략을 통해 향상될 수 있다고 제안한다.
• 과학적 제약 조건—기하학적 및 생화학적 원칙—을 내부 수준 목표로 통합하여 과학적 딥러닝에서 특징 학습을 향상시키는 데 중점을 둔다.
• 명시적 프록시 업데이트를 모델 기반 최적화와 연결하여, 할당 함수 및 정방향 및 역방향 매핑 간의 일관성과 같은 기법이 프록시 정확도 향상에 기여할 수 있음을 제안한다.

실험 결과

연구 질문

• RQ1 딥러닝 문제는 어떻게 체계적으로 이중 최적화 문제로 공식화할 수 있는가?
• RQ2 하이퍼파rameter 최적화 또는 메타지식 추출에 적합한 문제인지 판단하는 데 사용되는 기준은 무엇인가?
• RQ3 명시적 기울기, 프록시, 은닉 함수, 폐쇄형 업데이트의 네 가지 주요 솔버는 계산 효율성과 정확도 측면에서 어떻게 다를 수 있는가?
• RQ4 하이퍼기울기 계산을 위한 정확하고 효율적인 프록시 네트워크를 구축하는 데 직면한 주요 과제와 기회는 무엇인가?
• RQ5 과학적 제약 조건—기하학적 또는 생화학적 규칙—은 어떻게 내부 수준 목표에 효과적으로 통합되어 과학적 딥러닝 응용 분야에서 특징 학습을 향상시킬 수 있는가?

주요 결과

• 기울기 기반 이중 최적화는 역전파를 통한 하이퍼기울기 계산을 통해 딥러닝에서 효율적인 하이퍼파rameter 최적화 및 메타지식 추출을 가능하게 하며, 확장성 측면에서 전통적 방법(예: 진화 알고리즘)을 능가한다.
• 단일 작업 공식화는 정규화 파rameter와 압축된 데이터 최적화에 효과적이며, 다중 작업 공식화를 통해 메타학습 및 메타지식 추출을 통한 모델 초기화가 가능하다.
• 모델링 사전 지식(예: 부드러움)을 통합하고, 정보성 있는 외부-내부 변수 쌍을 재학습하기 위해 중요도 샘플링을 사용함으로써 명시적 프록시 업데이트는 크게 향상될 수 있다.
• 정방향 및 역방향 매핑 간의 일관성을 강제함으로써 내부 변수에서 외부 변수를 예측하는 역매핑 통합은 프록시 정확도 향상에 기여할 수 있다.
• 모델 기반 최적화에서 영감을 얻은 할당 함수와 같은 효율적 샘플링 전략은 정보성 있는 외부 변수 샘플에 집중함으로써 프록시 네트워크 학습의 계산 비용을 감소시킬 수 있다.
• 기하학적 또는 생화학적 규칙과 같은 과학적 제약 조건을 내부 수준 목표에 통합하면 과학적 딥러닝 과제에서 더 정확하고 물리적으로 일관된 특징 표현이 가능해진다.