[논문 리뷰] An Overview of Multi-Task Learning in Deep Neural Networks

Sebastian Ruder|arXiv (Cornell University)|2017. 06. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 2,413

한 줄 요약

딥 뉴럴 네트워크에서의 다중 작업 학습(MTL)에 대한 포괄적 개요로, 하드 및 소프트 매개변수 공유, MTL이 작동하는 이유에 대한 메커니즘, 역사적 및 최근 문헌, 보조 작업 선택에 대한 가이드를 상세히 설명한다.

ABSTRACT

Multi-task learning (MTL) has led to successes in many applications of machine learning, from natural language processing and speech recognition to computer vision and drug discovery. This article aims to give a general overview of MTL, particularly in deep neural networks. It introduces the two most common methods for MTL in Deep Learning, gives an overview of the literature, and discusses recent advances. In particular, it seeks to help ML practitioners apply MTL by shedding light on how MTL works and providing guidelines for choosing appropriate auxiliary tasks.

연구 동기 및 목표

• 관련 작업을 활용하여 일반화 성능을 향상시킬 수 있는 귀납적 전이의 한 형태로 다중 작업 학습을 고무한다.
• 두 가지 핵심 심층 학습 MTL 접근법(하드 및 소프트 매개변수 공유)과 그 절충점을 요약한다.
• MTL의 효과와 정규화 효과 뒤의 메커니즘과 문헌을 조사한다.
• MTL에서 보조 작업을 선택하고 설계하여 주 작업에 이익을 주는 방법을 논의한다.

제안 방법

• 공통 은닉 계층이 작업 간에 공유되고 작업별 출력 헤드가 있는 하드 매개변수 공유를 설명한다.
• 각 작업이 고유한 모델을 가지되 매개변수가 작업 간 유사하게 유지되도록 정규화되는 소프트 매개변수 공유를 설명한다.
• 다중 작업 설정에서의 정규화 메커니즘과 이들이 블록-희소 및 저랭크 표현과 어떻게 관련되는지 설명한다.
• MTL이 왜 도움이 되는지에 대한 암시적 데이터 증강, 주의 집중, 도청, 표현 편향의 개념을 논의한다.
• 비신경망 MTL 문헌을 조사하여 심층 학습 접근법과 대조한다.
• 최근의 심층 학습 MTL 접근법(예: Deep Relationship Networks, Cross-stitch Networks, Sluice Networks)을 소개하고 무엇을 공유할지 학습하는 것을 목표로 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크에서 MTL을 구현하는 주요 방법과 각 방법의 장점은 무엇인가?
• RQ2 실제로 MTL의 일반화 이점을 설명하는 메커니즘은 무엇인가?
• RQ3 최근의 심층 학습 접근법이 작업 간 공유할 것을 학습하는 능력을 어떻게 발전시켰는가?
• RQ4 실무에서 MTL 이득을 달성하기 위한 효과적인 보조 작업은 무엇인가?

주요 결과

• 하드 매개변수 공유는 신경망 MTL의 표준 접근법으로 남아 있으며 작업별 헤드에 비해 과적합을 감소시킨다.
• 소프트 매개변수 공유는 정규화를 이용해 작업 모델을 관련되게 유지하면서 작업 특이성을 보존한다.
• MTL은 암시적 데이터 증강, 주의 집중, 도청, 표현 편향, 정규화와 같은 메커니즘을 제공하여 일반화 향상을 설명한다.
• 최근의 심층 학습 MTL 연구는 공유할 것을 학습하고 작업 계층 구조를 모형화하려고 하며 고정된 공유 체계를 넘어선다.
• 보조 작업은 관련적이거나 적대적이거나 힌트 기반일 수 있으며, 그 설계는 NLP, 비전, 음성 등 다양한 영역에서 MTL 이득에 영향을 준다.