[논문 리뷰] Bridging Multi-Task Learning and Meta-Learning: Towards Efficient Training and Effective Adaptation

Haoxiang Wang, Han Zhao외 1명|arXiv (Cornell University)|2021. 06. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 63인용 수 19

한 줄 요약

이 논문은 다중 태스크 학습(MTL)과 기울기 기반 메타학습(GBML) 간의 이론적 및 실험적 연결을 수립하며, 둘 다 동일한 최적화 공식을 공유하고 과다 파rameter화된 네트워크에서 미지의 태스크에 대해 거의 동일한 예측을 한다고 보여준다. 주요 기여는 제2차 기울기 기반 메타학습(GBML) 방법인 MetaOptNet보다 10배 빠른 속도로 상태최저 수준의 소수의 샘플 분류 성능을 달성하는 1차 MTL 방법을 제안하는 것이다.

ABSTRACT

Multi-task learning (MTL) aims to improve the generalization of several related tasks by learning them jointly. As a comparison, in addition to the joint training scheme, modern meta-learning allows unseen tasks with limited labels during the test phase, in the hope of fast adaptation over them. Despite the subtle difference between MTL and meta-learning in the problem formulation, both learning paradigms share the same insight that the shared structure between existing training tasks could lead to better generalization and adaptation. In this paper, we take one important step further to understand the close connection between these two learning paradigms, through both theoretical analysis and empirical investigation. Theoretically, we first demonstrate that MTL shares the same optimization formulation with a class of gradient-based meta-learning (GBML) algorithms. We then prove that for over-parameterized neural networks with sufficient depth, the learned predictive functions of MTL and GBML are close. In particular, this result implies that the predictions given by these two models are similar over the same unseen task. Empirically, we corroborate our theoretical findings by showing that, with proper implementation, MTL is competitive against state-of-the-art GBML algorithms on a set of few-shot image classification benchmarks. Since existing GBML algorithms often involve costly second-order bi-level optimization, our first-order MTL method is an order of magnitude faster on large-scale datasets such as mini-ImageNet. We believe this work could help bridge the gap between these two learning paradigms, and provide a computationally efficient alternative to GBML that also supports fast task adaptation.

연구 동기 및 목표

• 다중 태스크 학습(MTL)과 메타학습 간의 이론적 및 실용적 관계를 이해하는 것.
• MTL의 훈련 효율성과 메타학습의 빠른 적응 능력 사이의 상충 관계를 해결하는 것.
• 빠른 적응 능력을 유지하면서도 기울기 기반 메타학습(GBML)의 계산 비용을 줄이는 효율적인 대안을 개발하는 것.
• 소수의 샘플 기반 벤치마크에서 MTL이 최신 GBML 알고리즘과 경쟁 가능한 성능을 달성할 수 있음을 경험적으로 검증하는 것.

제안 방법

• 이론적 분석을 통해 MTL과 일정 범주에 속하는 GBML 알고리즘은 동일한 이중 최적화 공식을 공유함을 보여줌.
• 충분히 깊은 과다 파rameter화된 신경망에서는 MTL과 GBML의 예측 함수가 함수 공간에서 유사함을 증명함.
• MTL과 GBML 예측 간 이론적 격차가 네트워크 깊이에 반비례함을 보여줌.
• 실험적 검증을 통해 합성 데이터를 사용하여 네트워크 깊이가 증가할수록 예측 유사성이 증가함을 확인함.
• 1차 MTL 구현체를 개발하고 mini-ImageNet 및 기타 소수의 샘플 벤치마크에서 평가함.
• 공유된 표현을 통한 동시 훈련과 메타테스트 동안 특징에 대해 선형 분류기의 피지컬 조정을 사용함.

실험 결과

연구 질문

• RQ1 MTL과 GBML은 동일한 기초 최적화 공식을 공유하는가?
• RQ2 과다 파arameter화된 네트워크에서 MTL은 미지의 태스크에 대해 GBML과 유사한 예측 성능을 달성할 수 있는가?
• RQ3 MTL과 GBML 예측 간 격차는 네트워크 깊이에 반비례하는가?
• RQ4 1차 MTL 방법은 정확도와 훈련 속도 양면에서 제2차 GBML 방법을 능가할 수 있는가?
• RQ5 MTL는 훈련 효율성을 유지하면서도 미지의 소수의 샘플 태스크에 대해 빠른 적응을 지원할 수 있는가?

주요 결과

• MTL와 GBML은 동일한 최적화 공식을 공유하며, GBML은 MTL의 동시 훈련을 정규화한 변종임을 보여줌.
• 과다 파arameter화된 네트워크에서는 MTL과 GBML의 예측 함수가 유사하며, 네트워크 깊이가 증가할수록 격차가 감소함.
• 합성 데이터에서 MTL과 GBML의 예측 유사성이 네트워크 깊이가 증가함에 따라 증가하며, 이는 이론적 분석을 검증함.
• mini-ImageNet에서 제안된 MTL 방법은 최신 GBML 방법인 MetaOptNet과 비교해 유사하거나 더 높은 소수의 샘플 분류 정확도를 달성함.
• 1차 최적화를 통해 MetaOptNet보다 훈련 속도가 10배 빠르며, 성능 손실 없이도 성능 유지를 함.
• 이론적 확장 결과로, 이 방법은 잔차 ReLU 네트워크와 LayerNorm이 적용된 네트워크로도 일반화됨을 보여줌.