[논문 리뷰] Variational Multi-Task Learning with Gumbel-Softmax Priors

Jiayi Shen, Xiantong Zhen외 2명|arXiv (Cornell University)|2021. 11. 09.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 Gumbel-Softmax로 학습된 사전 분포를 사용하여 작업 간 관련성을 모델링하는 확률적 베이지안 프레임워크인 변분 다중작업학습(VMTL)을 제안한다. 각 작업의 사전 분포를 다른 작업들의 변분 사후분포에 대한 미분 가능한 혼합 가중치로 조건화함으로써, VMTL은 표현과 분류기 간의 통합적이고 데이터 기반의 지식 전이를 가능하게 하여, 제한된 데이터에서 다섯 개인 다중작업 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-task learning aims to explore task relatedness to improve individual tasks, which is of particular significance in the challenging scenario that only limited data is available for each task. To tackle this challenge, we propose variational multi-task learning (VMTL), a general probabilistic inference framework for learning multiple related tasks. We cast multi-task learning as a variational Bayesian inference problem, in which task relatedness is explored in a unified manner by specifying priors. To incorporate shared knowledge into each task, we design the prior of a task to be a learnable mixture of the variational posteriors of other related tasks, which is learned by the Gumbel-Softmax technique. In contrast to previous methods, our VMTL can exploit task relatedness for both representations and classifiers in a principled way by jointly inferring their posteriors. This enables individual tasks to fully leverage inductive biases provided by related tasks, therefore improving the overall performance of all tasks. Experimental results demonstrate that the proposed VMTL is able to effectively tackle a variety of challenging multi-task learning settings with limited training data for both classification and regression. Our method consistently surpasses previous methods, including strong Bayesian approaches, and achieves state-of-the-art performance on five benchmark datasets.

연구 동기 및 목표

• 각 작업에 대한 훈련 데이터가 제한된 상황에서 개별 모델이 과적합되는 문제를 해결하기 위해.
• 통합된 확률적 프레임워크 내에서 공유 표현과 분류기를 함께 학습할 수 있도록 하기 위해.
• 학습 가능한 사전 분포를 사용하여 비선형적이고 복잡한 작업 간 관련성을 미분 가능하고 데이터 기반의 방식으로 모델링하기 위해.
• 유능한 불확실성 모델링을 통해 관련 작업들로부터 인덕티브 바이어스를 활용함으로써 일반화 성능을 향상시키기 위해.
• 저데이터, 소수의 예제가 주어진 다중작업 설정에서 기존의 베이지안 및 딥 러닝 다중작업학습 방법들을 능가하기 위해.

제안 방법

• VMTL는 작업별 표현과 분류기를 함께 최적화하는 변분 추론 문제로 다중작업학습을 공식화한다.
• 각 작업의 잠재변수에 대해 조건부 사전분포를 도입하며, 이 사전분포는 다른 관련 작업들의 변분 사후분포의 학습 가능한 혼합이다.
• 사전분포 혼합의 가중치는 Gumbel-Softmax 재구성 기법을 통해 매개변수화되어, 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 모델은 변분 사후분포의 매개변수와 작업 간 관련성 사전분포 선택을 위한 Gumbel-Softmax 온도 및 로그온을 함께 최적화한다.
• 분류기 생성을 여러 작업 간에 공유함으로써 훈련 속도를 높이기 위해, 암시적 추론(VMTL-AC)이 도입된다.
• 공유된 레이블/목표 공간을 가지지만 입력 도메인이 다른 분류 및 회귀 작업에 모두 적용 가능하다.

실험 결과

연구 질문

• RQ1 통합된 변분 베이지안 프레임워크가 표현과 분류기 간의 공유 지식을 함께 활용하여 다중작업학습을 수행할 수 있는가?
• RQ2 저데이터 환경에서 성능을 향상시키기 위해 작업 간 관련성을 어떻게 미분 가능하고 데이터 기반의 방식으로 모델링할 수 있는가?
• RQ3 다른 작업들의 사후분포에 대한 혼합 사전분포를 Gumbel-Softmax로 학습함으로써, 고정되거나 히우리스틱 사전분포보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 불확실성 모델링을 통한 변분 추론이 소수의 예제가 주어진 다중작업학습에서 점추정 또는 히우리스틱 정규화 방법보다 성능이 뛰어나게 되는가?
• RQ5 저데이터 설정에서 분포 이탈과 악성 예측 공격에 대해 제안된 방법이 얼마나 강인한가?

주요 결과

• VMTL는 다섯 개인 다중작업 벤치마크에서 최신 기술 수준의 성능을 기록하며, 강력한 베이지안 및 딥 러닝 기반 베이스라인들을 일관되게 능가한다.
• 가장 도전적인 5% 훈련 데이터 분할에서, VMTL는 CUB-200-2011 데이터셋에서 25.2%의 정확도를 달성하여 다음으로 우수한 방법(20.6%)을 크게 앞서 간다.
• VMTL-AC는 암시적 추론 덕분에 VMTL보다 더 빠른 수렴을 보이며, 경쟁 가능한 성능을 유지한다.
• 분류기 생성 시 평균 특징 표현을 사용함으로써, 모델은 악성 공격에 대해 강인함을 보였다.
• 회전된 MNIST 회귀 작업에서, VMTL와 VMTL-AC는 평균 NMSE가 가장 낮았으며, VMTL는 17.1 ± 0.1, VMTL-AC는 17.5 ± 0.1을 기록했다.
• VMTL는 베이지안 방법(Bakker 등 [4])과 점추정 방법(Long 등 [36])을 모두 능가하여, 불확실성 모델링을 통한 변분 추론의 우수성을 입증했다.