[논문 리뷰] Uncertainty in Multitask Transfer Learning

Alexandre Lacoste, Boris N. Oreshkin외 4명|arXiv (Cornell University)|2018. 06. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 12

한 줄 요약

이 논문은 다수의 다양한 작업을 통해 풍부하고 작업에 종속되지 않는 사전을 학습하는 변동형 베이즈 방법인 Deep Prior을 제안한다. 계층적 베이지안 신경망을 사용하여 작업별로 특화된 파라미터와 공유 파라미터를 분리하고, 원형 네트워크를 통한 작업 조건화를 통해 5샷 Mini-Imagenet에서 74.5%의 최고 성능을 기록하며 MAML 및 기타 기준 모델들을 능가한다. 이는 특히 이질적인 작업 설정에서 두각을 나타낸다.

ABSTRACT

Using variational Bayes neural networks, we develop an algorithm capable of accumulating knowledge into a prior from multiple different tasks. The result is a rich and meaningful prior capable of few-shot learning on new tasks. The posterior can go beyond the mean field approximation and yields good uncertainty on the performed experiments. Analysis on toy tasks shows that it can learn from significantly different tasks while finding similarities among them. Experiments of Mini-Imagenet yields the new state of the art with 74.5% accuracy on 5 shot learning. Finally, we provide experiments showing that other existing methods can fail to perform well in different benchmarks.

연구 동기 및 목표

• 다양한 작업들로부터 의미 있고 유연한 사전을 스케일러블하게 학습하여 소수의 샘플에서의 일반화 능력을 향상시키는 데 목적이 있다.
• 작업이 이질적이거나 유사하지 않을 경우 실패하는 기존 전이 학습 방법의 한계를 해결하는 데 목적이 있다.
• 베이지안 신경망을 활용해 데이터가 적은 환경에서 효과적인 불확실성 추정과 사후 근사치를 제공하는 데 목적이 있다.
• 계층적 베이지안 모델링과 작업별 적응 메커니즘을 융합하여 소수의 샘플 학습 성능을 향상시키는 데 목적이 있다.
• 단일 표현 모델이 이질적인 벤치마크에서 실패하며, 이에 대비해 작업 조건화 사전이 강건한 전이를 가능하게 한다는 것을 입증하는 데 목적이 있다.

제안 방법

• 작업별 가중치 $w_j$ 가 공유 사전 $p(w_j | \alpha)$ 에서 추출되며, $\alpha$ 는 다수의 작업에서 최대 사후 확률(MLAP)을 통해 학습된다.
• 사후 $p(w_j | \alpha, S_j)$ 를 근사하기 위해 변동형 베이즈를 적용하여 불확실성 추정과 정규화를 가능하게 한다.
• FILM 레이어 또는 작업 임베딩을 통한 작업 조건화를 도입하여 네트워크가 공유 표현을 기반으로 새로운 작업에 적응할 수 있도록 한다.
• 딥 프리어를 원형 네트워크와 융합하여 최종 레이어의 노이즈 생성을 방지함으로써 학습 안정성과 성능을 향상시킨다.
• 작은 샘플 데이터셋에서 과적합을 방지하기 위해 사후에 KL 정규화를 적용하며, 최적의 가중치는 하이퍼파rameter 튜닝을 통해 확보된다.
• 학습 중에 테스트 데이터가 영향을 미치지 않도록 이탈한 한 개의 작업을 사용하는 절차를 적용하여 데이터 泄露를 방지한다.

실험 결과

연구 질문

• RQ1 다양한 작업들에서 공통으로 학습된 단일 공유 사전이 전이 학습에서 소수의 샘플에서의 일반화 능력을 향상시킬 수 있는가?
• RQ2 작업 간에 상당한 차이가 있을 경우 MAML와 같은 표준 소수의 샘플 학습 방법의 성능가 어떻게 저하되는가?
• RQ3 작업이 동질적이지 않고 이질적일 경우 작업 조건화가 일반화 능력을 얼마나 향상시키는가?
• RQ4 풍부하고 구조화된 사전을 가진 베이지안 신경망이 낮은 데이터 환경에서 평균장 근사치를 능가할 수 있는가?
• RQ5 단일 공유 표현이 모든 작업에 충분한가, 아니면 이질적인 벤치마크에서는 작업별 적응이 필수적인가?

주요 결과

• 제안된 Deep Prior 방법은 5샷 Mini-Imagenet 벤치마크에서 기존 방법들(예: MAML 및 Discriminative k-shot)을 능가하는 새로운 최고 성능인 74.5%의 정확도를 달성한다.
• 이질적인 Synbols 벤치마크에서 표준 원형 네트워크의 정확도는 폰트와 기호 작업을 결합할 경우 76.8%로 떨어지지만, 조건화가 적용된 Deep Prior는 83.5%로 복구된다.
• 제거 실험 결과에서 잔차 네트워크, 작업 조건화, 이탈한 한 개의 작업 학습, KL 정규화 모두 최적의 성능을 위해 필수적임을 확인하였다.
• 이 방법은 MAML가 작업 간 유사성이 떨어질 경우 어려움을 겪는다는 것을 입증하며, 더 표현력 있는 사전이 필요함을 시사한다.
• 실험 결과 단일 공유 표현에 의존하는 모델은 이질적인 작업에서 실패하는 반면, 작업 조건화 사전이 강건한 전이를 위해 필수적임을 보여주었다.
• Harmonics 데이터셋에서 학습된 사전는 의미 있는 구조를 보이며, 이는 방법이 작업 간 공통된 인덕티브 바이어스를 효과적으로 포착하고 있음을 확인한다.