[논문 리뷰] A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods

Zhihan Zhang, Wenhao Yu외 3명|arXiv (Cornell University)|2022. 04. 07.

Topic Modeling인용 수 5

한 줄 요약

이 종합 검토는 자연어 처리(NLP) 분야의 다중 작업 학습(MTL)을 작업 간 관련성에 기반해 두 가지 학습 범주로 분류한다: 동시 학습과 다단계 학습. 작업 간 의존성에 따라 방법 선택을 분석하고, NLP 분야 전반의 응용 사례를 검토하며, 적응형 MTL을 위한 메타학습 및 전이 학습 파이프라인 내 MTL 최적화와 같은 향후 방향성을 규명한다.

ABSTRACT

Multi-task learning (MTL) has become increasingly popular in natural language processing (NLP) because it improves the performance of related tasks by exploiting their commonalities and differences. Nevertheless, it is still not understood very well how multi-task learning can be implemented based on the relatedness of training tasks. In this survey, we review recent advances of multi-task learning methods in NLP, with the aim of summarizing them into two general multi-task training methods based on their task relatedness: (i) joint training and (ii) multi-step training. We present examples in various NLP downstream applications, summarize the task relationships and discuss future directions of this promising topic.

연구 동기 및 목표

• NLP에서 작업 간 관련성에 기반한 MTL 학습 방법 선택에 대한 명확한 지침이 부족한 문제를 해결하기 위해.
• 최근 NLP 분야의 MTL 접근 방식을 두 가지 일반적인 학습 프레임워크로 분류하기 위해: 동시 학습과 다단계 학습.
• 다양한 NLP 응용 분야에서의 작업 관계와 학습 의존성을 분석하여 방법 선택에 기여하기 위해.
• 특히 메타학습 및 전이 학습 통합 분야에서의 열린 과제와 향후 연구 방향을 규명하기 위해.
• 연구자들이 특정 아키텍처나 손실 함수를 선택하기 전에 적절한 MTL 방법을 선택할 수 있도록 체계적인 프레임워크를 제공하기 위해.

제안 방법

• NLP 분야의 MTL 방법을 두 가지 학습 범주로 분류한다: 동시 학습(공유 표현을 가진 동시에 여러 작업을 학습)과 다단계 학습(의존성 체인을 가진 순차적 작업 학습).
• 다중 작업 학습을 모델링하기 위해 인코더-디코더 아키텍처를 통합 프레임워크로 사용하며, 공유 인코더와 작업별 디코더를 포함한다.
• 입력/출력 의존성에 기반해 작업 간 관련성이 동시 학습 또는 다단계 학습 선택의 핵심 결정 요소임을 분석한다.
• 동시 학습을 위한 대표적 모델인 Deep Relationship Network, Cross-stitch, Sluice Network와 다단계 학습을 위한 Prediction Distillation 및 Cascaded Information을 검토한다.
• 이전 종합 검토(예: Ruder, 2017; Crawshaw, 2020)에서 제시된 기존 MTL 프레임워크를 제안된 동시 학습 및 다단계 학습 범주로 매핑한다.
• 작업 간 의존성 구조—특히 작업을 동시에 학습할 수 있는지 여부 또는 순차적 처리가 필요한지 여부—가 학습 방법을 정의한다.

실험 결과

연구 질문

• RQ1 NLP 다중 작업 학습에서 작업 간 관련성을 어떻게 활용하여 동시 학습 또는 다단계 학습을 선택할 수 있는가?
• RQ2 NLP 응용 분야에서 동시 학습과 다단계 학습 간의 아키텍처적 및 학습적 차이점은 무엇인가?
• RQ3 이전 종합 검토에서 제시된 기존 MTL 프레임워크(예: Ruder, 2017; Crawshaw, 2020)는 제안된 동시 학습 및 다단계 학습 범주에 어떻게 매핑되는가?
• RQ4 유니버설 모델 및 전이 학습 파이프라인에 MTL를 적용할 때의 주요 과제는 무엇인가?
• RQ5 메타학습은 어떻게 다중 작업 학습을 향상시켜 빠른 적응과 적응형 파rameter 공유를 가능하게 하는가?

주요 결과

• 작업을 동시에 학습하고 공통 표현을 공유할 수 있을 경우 동시 학습이 적절하며, 이는 다중 의도 분류나 다국어 NLP와 같은 분야에서 적용된다.
• 한 작업의 출력이 다른 작업의 전제가 되는 경우 다단계 학습이 필요하다. 이는 연쇄적 정보 추출 또는 디스틸레이션 기반 학습에서 나타난다.
• 작업 간 관련성—특히 구조적 및 기능적 의존성—이 학습 방법 선택의 핵심 요소이며, 동시 학습은 병렬 처리가 가능한 작업에 유리하고, 다단계 학습은 순차적 의존성을 처리한다.
• 기존 MTL 프레임워크 중 Cross-stitch와 Sluice Network는 동시 학습 범주에 가장 잘 분류되며, Prediction Distillation 및 Cascaded Information는 다단계 학습 범주에 속한다.
• 메타학습은 적응형 파라미터 공유와 빠른 적응을 가능하게 하여 MTL에서 잠재력을 보이며, 특히 소수의 샘플 또는 제로샷 전이 시나리오에서 유용하다.
• MTL의 전이 학습에서의 역할은 아직 충분히 탐색되지 않았으며, 최근 연구들은 더 나은 도메인 일반화를 위해 미세조정보다 다중 작업 사전 학습을 선호한다.