[논문 리뷰] Multi-Objective Meta Learning

Feiyang Ye, Baijiong Lin외 4명|arXiv (Cornell University)|2021. 02. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 8

한 줄 요약

이 논문은 다중 목적 메타러닝에서 상충되는 다수의 목적을 동시에 최적화할 수 있도록 설계된 통합된 기울기 기반 다중 목적 메타러닝(MOML) 프레임워크를 제안한다. 이는 다중 목적 이중 최적화 문제(MOBLP)로 수식화되며, 기울기 하강법과 MGDA를 번갈아가며 하위 문제의 적응과 상위 문제의 다중 목적 최적화를 수행함으로써 수렴성을 확보한다. 이는 소수 샘플 학습, 신경망 아키텍처 탐색, 도메인 적응, 다중 작업 학습 등 다양한 분야에서 경험적으로 뛰어난 성능을 보인다.

ABSTRACT

Meta learning with multiple objectives can be formulated as a Multi-Objective Bi-Level optimization Problem (MOBLP) where the upper-level subproblem is to solve several possible conflicting targets for the meta learner. However, existing studies either apply an inefficient evolutionary algorithm or linearly combine multiple objectives as a single-objective problem with the need to tune combination weights. In this paper, we propose a unified gradient-based Multi-Objective Meta Learning (MOML) framework and devise the first gradient-based optimization algorithm to solve the MOBLP by alternatively solving the lower-level and upper-level subproblems via the gradient descent method and the gradient-based multi-objective optimization method, respectively. Theoretically, we prove the convergence properties of the proposed gradient-based optimization algorithm. Empirically, we show the effectiveness of the proposed MOML framework in several meta learning problems, including few-shot learning, neural architecture search, domain adaptation, and multi-task learning.

연구 동기 및 목표

• 다중 목적 메타러닝을 위한 기울기 기반이고 수렴 보장이 있는 최적화 방법의 부족 문제를 해결하기 위해.
• 소수 샘플 학습, NAS, 도메인 적응, 다중 작업 학습 등 다양한 메타러닝 문제를 하나의 MOBLP 수식으로 통합하기 위해.
• 하위 문제의 적응과 상위 문제의 다중 목적 최적화를 번갈아 수행하는 기울기 기반 최적화 알고리즘을 개발하기 위해.
• 제안된 MOML 최적화 알고리즘에 대한 이론적 수렴 보장을 제공하기 위해.
• 다양한 메타러닝 응용 분야에서 다수의 목적을 동시에 고려할 때 MOML의 효과성을 경험적으로 검증하기 위해.

제안 방법

• 다양한 목적을 가진 메타러닝을 다중 목적 이중 최적화 문제(MOBLP)로 수식화하며, 상위 문제에서는 다수의 목적을 최적화하고 하위 문제에서는 개별 작업에 적응하도록 한다.
• 하위 문제에서는 기울기 하강법을, 상위 문제에서는 기울기 기반 다중 목적 최적화 방법(예: MGDA)을 번갈아가며 적용하는 기울기 기반 최적화 알고리즘을 제안한다.
• 은닉 함수 정리(implicit function theorem)를 활용해 하위 문제의 해를 통해 기울기를 계산함으로써 이중 구조를 전방향 전파 방식으로 완전히 통합할 수 있도록 한다.
• 메타 파라미터를 검증 성능을 기반으로 다수의 목적에 대해 최적화하는 이중 구조를 도입함으로써 일반화 성능을 보장한다.
• 소수 샘플 학습, NAS, 도메인 적응, 다중 작업 학습 등 다양한 학습 문제에 적용 가능한 통합된 MOML 프레임워크를 도입한다.
• 상위 문제 최적화에서 MGDA 방법을 적용하여 상충되는 목적을 동시에 향상시키는 내림방향을 찾는다.

실험 결과

연구 질문

• RQ1 이론적 수렴 보장을 갖춘 다중 목적 메타러닝을 위한 기울기 기반 최적화 방법을 개발할 수 있는가?
• RQ2 메타러닝에서 상충되는 다수의 목적을 통합된 프레임워크 내에서 동시에 최적화할 수 있는가?
• RQ3 제안된 MOML 프레임워크가 기존의 단일 목적 또는 진화 기반 접근법보다 다중 목적 메타러닝 과제에서 뛰어난 성능을 보이는가?
• RQ4 MOML 프레임워크는 소수 샘플 학습, NAS, 도메인 적응, 다중 작업 학습 등 다양한 메타러닝 문제에 효과적으로 적용될 수 있는가?
• RQ5 검증 기반 목적을 갖춘 이중 구조는 학습 기반 가중치 전략에 비해 일반화 성능을 어떻게 향상시키는가?

주요 결과

• Office-Home 데이터셋에서 MOML는 STL 및 DMTL에 비해 다양한 가중치 전략을 적용했을 때 평균 정확도 80.31%를 기록하여 STL의 79.56%를 초월한다.
• Office-Home 데이터셋에서 MOML는 네 가지 과제 중 세 과제(Ar, Cl, Pr)에서 최고 성능을 기록했으며, 모든 MTL 방법 중 평균 정확도에서 1위를 차지했다.
• MOML는 평균 성능에서 Equal Weights(EW) 전략을 능가하여, 학습 기반 손실 가중치보다 검증 기반 이중 최적화의 우수성을 입증한다.
• MOML는 STL에 비해 Ar 및 Rw 과제에서 성능 향상을 보였으며, 다중 목적 최적화를 통한 공동 학습이 일반화 성능 향상에 기여함을 시사한다.
• 이중 최적화 및 다중 목적 최적화를 통해 작업 가중치와 모델 파라미터를 동시에 최적화함으로써 다중 작업 학습 분야에서 최신 기술 수준의 성능을 달성한다.
• 경험적 결과는 MOML가 다양한 메타러닝 응용 분야에서 모델 성능과 강건성 등의 상충되는 다수의 목적을 효과적으로 균형 잡는 데 성공했음을 확인한다.