[논문 리뷰] Bilevel Programming for Hyperparameter Optimization and Meta-Learning

Luca Franceschi, Paolo Frasconi외 3명|arXiv (Cornell University)|2018. 06. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 110

한 줄 요약

논문은 gradient-based 하이퍼파라미터 최적화와 메타러닝을 연결하는 통합 이층 최적화 프레임워크를 제시하고, few-shot 태스크에서 학습-학습을 위한 효과를 입증합니다. 이는 딥 네트워크에서 하이퍼-표현(hyper-representation) 접근법을 구체화하고, 근사 내부-외부 문제에 대한 수렴 보장을 제공합니다.

ABSTRACT

We introduce a framework based on bilevel programming that unifies gradient-based hyperparameter optimization and meta-learning. We show that an approximate version of the bilevel problem can be solved by taking into explicit account the optimization dynamics for the inner objective. Depending on the specific setting, the outer variables take either the meaning of hyperparameters in a supervised learning problem or parameters of a meta-learner. We provide sufficient conditions under which solutions of the approximate problem converge to those of the exact problem. We instantiate our approach for meta-learning in the case of deep learning where representation layers are treated as hyperparameters shared across a set of training episodes. In experiments, we confirm our theoretical findings, present encouraging results for few-shot learning and contrast the bilevel approach against classical approaches for learning-to-learn.

연구 동기 및 목표

• HO와 ML을 이층 최적화로 묶는统一된 수학적 프레임워크를 제시한다.
• 합리적인 조건 하에서 근사 내부-외부 문제가 정확한 이층 형식으로 수렴할 수 있음을 보인다.
• deep 네트워크에서 에피소드 간 공유 표현을 학습하는 메타러닝 접근을 구현한다.
• Omniglot과 MiniImagenet 같은 few-shot 학습 벤치마크에서 실증적 이점을 보여준다.

제안 방법

• HO와 ML을 내부 목적 L_lambda와 외부 목적 E로 이층 문제로 형식화한다.
• 참작할 수 있는 내부 최적화 다이내믹스를 T 스텝 동안 시뮬레이션하여 w_{T,λ}를 얻음으로써 이층 문제를 근사하게 풀이한다.
• 확장된 역역(역전) 하이그라디언트를 통해 하이퍼파라미터 λ를 업데이트한다.
• ML을 인스턴스화하여 h_λ를 태스크 간 공유 표현으로 학습하고 태스크별 분류기 g^j를 학습한다.
• 완만한 가정 하에서 근사 문제의 존재성과 정확한 이층 문제로의 수렴을 보장하는 이론적 결과를 제공한다.
• 내부 반복 횟수 T가 성능에 미치는 영향을 분석하고 표현 학습을 심층 신경망에서 실험한다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터 최적화(HO)와 메타러닝(ML)을 단일 수학적 프레임워크로 unified하게 이층 형식으로 합칠 수 있는가?
• RQ2 유한한 T를 갖는 근사 내부-외부 해가 정확한 이층 해로 수렴하는 조건은 무엇인가?
• RQ3 작업 간 공유 하이퍼-표현 학습이 few-shot 학습 성능을 향상시키는가?
• RQ4 내부 최적화 단계 수 T가 few-shot 설정에서 일반화와 학습 시간에 어떤 영향을 미치는가?

주요 결과

방법	Omniglot 5 클래스 1-shot	Omniglot 5 클래스 5-shot	Omniglot 20 클래스 1-shot	Omniglot 20 클래스 5-shot	MiniImagenet 5 클래스 1-shot	MiniImagenet 5 클래스 5-shot
Siamese nets (Koch et al., 2015)	97.3	98.4	88.2	97.0	-	-
Matching nets (Vinyals et al., 2016)	98.1	98.9	93.8	98.5	43.44±0.77	55.31±0.73
Neural stat. (Edwards and Storkey, 2016)	98.1	99.5	93.2	98.1	-	-
Memory mod. (Kaiser et al., 2017)	98.4	99.6	95.0	98.6	-	-
Meta-LSTM (Ravi and Larochelle, 2017)	-	-	-	-	43.56±0.84	60.60±0.71
MAML (Finn et al., 2017)	98.7	99.9	95.8	98.9	48.70±1.75	63.11±0.92
Meta-networks (Munkhdalai and Yu, 2017)	98.9	-	97.0	-	49.21±0.96	-
Prototypical Net. (Snell et al., 2017)	98.8	99.7	96.0	98.9	49.42±0.78	68.20±0.66
SNAIL (Mishra et al., 2018)	99.1	99.8	97.6	99.4	55.71±0.99	68.88±0.92
Hyper-representation	98.6	99.5	95.5	98.4	50.54±0.85	64.53±0.68

• 적합한 연속성 및compactness 가정하에 내부 반복 T→∞일 때 근사 이층 접근법은 정확한 문제로 수렴한다.
• 초기 중단(작은 T)은 정규화 효과를 낼 수 있으며, 일부 설정에서 대책적 해보다 일반화 성능이 더 좋을 수 있다.
• 공유 표현 계층을 갖는 하이퍼-표현은 Omniglot과 MiniImagenet에서 여러 기저 대비 few-shot 정확도를 향상시킨다.
• 표현 매핑으로 잔차 네트워크를 사용하는 것이 일반 컨볼루션 네트워크보다 하이퍼-표현 설정에서 성능을 크게 향상시킨다.
• 제안된 Hyper-representation 방법은 최신 few-shot 학습 접근법과 비교해 경쟁력 있는 결과를 보이며, 학습된 공유 표현의 가치를 강조한다.