[논문 리뷰] Multi-Task Learning in Natural Language Processing: An Overview

Shijie Chen, Yu Zhang외 1명|arXiv (Cornell University)|2021. 09. 19.

Topic Modeling참고 문헌 145인용 수 29

한 줄 요약

이 논문은 다중 작업 학습(MTL)이 NLP에 어떻게 적용되는지 조사하고, 아키텍처, 최적화 기법, 응용 분야를 분류하며 데이터 효율성과 견고성 향상을 위한 데이터셋 및 향후 방향을 논의한다.

ABSTRACT

Deep learning approaches have achieved great success in the field of Natural Language Processing (NLP). However, directly training deep neural models often suffer from overfitting and data scarcity problems that are pervasive in NLP tasks. In recent years, Multi-Task Learning (MTL), which can leverage useful information of related tasks to achieve simultaneous performance improvement on these tasks, has been used to handle these problems. In this paper, we give an overview of the use of MTL in NLP tasks. We first review MTL architectures used in NLP tasks and categorize them into four classes, including parallel architecture, hierarchical architecture, modular architecture, and generative adversarial architecture. Then we present optimization techniques on loss construction, gradient regularization, data sampling, and task scheduling to properly train a multi-task model. After presenting applications of MTL in a variety of NLP tasks, we introduce some benchmark datasets. Finally, we make a conclusion and discuss several possible research directions in this field.

연구 동기 및 목표

• NLP 작업에서 데이터 부족과 과적합 문제를 해결하기 위해 MTL 사용의 필요성을 제시한다.
• NLP MTL 아키텍처를 분류하고 설계 원칙을 설명한다.
• NLP에서 MTL 모델을 훈련하기 위한 최적화 기법을 요약한다.
• NLP 과제와 데이터셋 전반에 걸친 보조 및 공동 MTL의 응용을 검토한다.
• NLP에서의 MTL에 대한 향후 연구 방향과 벤치마크를 논의한다.

제안 방법

• MTL 아키텍처를 병렬(parallel), 계층적(hierarchical), 모듈화(modular), 생성적 적대적(generative adversarial) 범주로 분류한다.
• 하드 매개변수 공유와 소프트 매개변수 공유를 설명하고 이것이 모델 설계에 미치는 함의를 제시한다.
• 손실 구성, 데이터 샘플링, 작업 스케줄링을 포함한 최적화 방법을 설명한다.
• 특징 융합 메커니즘, 서로 다른 수준의 감독, 계층적 상호작용을 요약한다.
• 생성적 적대적 MTL 및 반지도/비표시 데이터 활용에 대해 논의한다.
• MTL 어댑터 및 다중 언어/다중 도메인 모듈식 설계에 대한 개요를 제공한다.

실험 결과

연구 질문

• RQ1 NLP 작업에 대해 어떤 MTL 아키텍처가 가장 효과적이며 그 이유는 무엇인가?
• RQ2 손실 가중치 부여, 샘플링, 스케줄링 등 최적화 전략이 NLP에서의 MTL 훈련을 어떻게 개선할 수 있는가?
• RQ3 NLP에서 MTL을 평가하는 데 일반적으로 사용되는 응용 분야와 데이터셋은 무엇인가?
• RQ4 모듈식 및 어댑터 기반 접근법이 대규모 사전 학습 모델과 함께 확장 가능한 다중 작업 학습을 어떻게 가능하게 하는가?
• RQ5 NLP에서의 MTL에 대해 식별된 향후 방향과 과제는 무엇인가?

주요 결과

• NLP의 MTL 아키텍처는 병렬(parallel), 계층적(hierarchical), 모듈화(modular), 생성적 적대적(generative adversarial)의 네 가지 범주로 분류된다.
• 하드 매개변수 공유가 일반적이며, 소프트 공유는 유연한 작업별 제약을 제공한다.
• Optimization strategies include combining task losses with weighting, dynamic sampling, and task scheduling to balance learning.
• 계층적 및 모듈식 설계는 대형 사전학습 모델용 어댑터를 포함하여 효과적인 공유 및 작업별 특화를 가능하게 한다.
• 생성적 적대적 구성이 작업-불변의 공유 표현을 촉진하고 라벨이 없는 데이터를 활용할 수 있다.
• MTL은 특히 보조적/자기지도 학습 작업이 포함될 때 데이터 효율성과 견고성을 향상시킨다.