[논문 리뷰] Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey

Lovre Torbarina, Tin Ferkovic외 4명|arXiv (Cornell University)|2023. 08. 16.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 종합 검토는 자연어 처리(NLP) 분야에서 트랜스포머 기반 다중 작업 학습(MTL)이 기계 학습 전체 라이프사이클 전반에 걸쳐 어떻게 통합되는지를 조사하며, 데이터 엔지니어링, 모델 개발, 배포, 모니터링 단계에서의 과제와 기회를 규명한다. 본 논문은 지속적 다중 작업 학습(CMTL)을 제안하여 MTL과 지속적 학습(CL)을 새로운 방식으로 통합함으로써 주기적 재학습과 분포 변화, 새로운 작업에 대한 동적 적응을 가능하게 한다.

ABSTRACT

The increasing adoption of natural language processing (NLP) models across industries has led to practitioners' need for machine learning systems to handle these models efficiently, from training to serving them in production. However, training, deploying, and updating multiple models can be complex, costly, and time-consuming, mainly when using transformer-based pre-trained language models. Multi-Task Learning (MTL) has emerged as a promising approach to improve efficiency and performance through joint training, rather than training separate models. Motivated by this, we first provide an overview of transformer-based MTL approaches in NLP. Then, we discuss the challenges and opportunities of using MTL approaches throughout typical ML lifecycle phases, specifically focusing on the challenges related to data engineering, model development, deployment, and monitoring phases. This survey focuses on transformer-based MTL architectures and, to the best of our knowledge, is novel in that it systematically analyses how transformer-based MTL in NLP fits into ML lifecycle phases. Furthermore, we motivate research on the connection between MTL and continual learning (CL), as this area remains unexplored. We believe it would be practical to have a model that can handle both MTL and CL, as this would make it easier to periodically re-train the model, update it due to distribution shifts, and add new capabilities to meet real-world requirements.

연구 동기 및 목표

• 트랜스포머 기반 MTL가 기계 학습 전체 라이프사이클 단계(데이터 엔지니어링, 모델 개발, 배포, 모니터링 포함)에 어떻게 체계적으로 통합되는지 분석하는 것.
• 실제 NLP 생산 시스템에 MTL를 적용할 때의 주요 과제와 기회를 규명하는 것, 특히 계산 비용, 모델 유지보수, 확장성 측면에서의 고려사항.
• MTL와 지속적 학습(CL) 간에 미처 탐색되지 않은 연결 고리에 주목하며, 동적 모델 업데이트를 지원하는 통합 프레임워크의 필요성을 주장하는 것.
• 순차적 작업 추가, 분포 변화, 주기적 재학습을 처리할 수 있는 실용적인 솔루션으로 지속적 다중 작업 학습(CMTL)을 제안하는 것.
• CMTL 모델을 평가하기 위해 실제 기계 학습 시스템 과제를 현실적으로 시뮬레이션할 수 있는 벤치마크 구축을 촉진하는 것.

제안 방법

• 파라미터 공유 메커니즘(예: 작업 전용 헤드, 어댑터, 하이퍼네트워크 포함)에 중점을 두어 NLP 분야의 기존 트랜스포머 기반 MTL 아키텍처를 종합적으로 분석.
• MTL 구성 요소를 기계 학습 라이프사이클 단계에 매핑하여, 데이터 엔지니어링에서의 데이터 불균형이나 모니터링 단계에서의 모델 노후화와 같은 단계별 과제를 규명.
• MTL와 지속적 학습(CL) 간의 아키텍처 유사성 분석, 특히 어댑터 기반 및 파라미터 격리 설계에서의 공통점 분석을 통해 CMTL 통합 가능성을 탐색.
• MTL의 동시 학습과 CL의 점진적 학습을 융합한 CMTL 프레임워크 제안. 공유 구성 요소(예: 어댑터, 하이퍼네트워크) 활용.
• 다양한 작업 도착 빈도, 재학습 스케줄, 분포 변화를 포함한 실제 조건을 시뮬레이션하는 벤치마크 전략 설계.
• 시각적 및 아키텍처적 비교(예: 그림 3)를 통해 MTL과 CL 구성 요소가 상호 교환 가능하거나 통합될 수 있는 방식을 설명. 예를 들어 MTL 어댑터를 CL 인식 모듈로 대체하는 방식.

Figure 1: Simplified overview of MTL architectures. Sub-figure a) represents a fully-shared encoder, b) an adapter, and c) a hypernetwork. Blue components are trained jointly by all the tasks, green ones are task-specific, and grey ones are kept frozen. A dotted adapter component suggests possible a

실험 결과

연구 질문

• RQ1 트랜스포머 기반 MTL는 기계 학습 전체 라이프사이클에 어떻게 효과적으로 통합될 수 있으며, 데이터 엔지니어링, 모델 개발, 배포, 모니터링 단계에서의 주요 과제는 무엇인가?
• RQ2 MTL와 지속적 학습(CL) 간에 존재하는 아키텍처적 유사성은 무엇이며, 이를 바탕으로 통합된 CMTL 프레임워크를 구축할 수 있는가?
• RQ3 MTL는 어떻게 실생산 환경에서 순차적 작업 학습과 분포 변화에 대한 적응을 지원할 수 있는가?
• RQ4 실제 생산 조건에서 CMTL 모델을 공정하게 평가하기 위해 필요한 벤치마크 전략은 무엇인가?
• RQ5 기존의 MTL 구성 요소(예: 어댑터, 하이퍼네트워크)는 지속적 학습을 지원하기 위해 재사용될 수 있는가? 이를 통해 효율적이고 모듈화된 CMTL 모델를 구현할 수 있는가?

주요 결과

• 트랜스포머 기반 MTL는 여러 NLP 작업 간의 파라미터 공유를 통해 모델 효율성을 향상시키고 계산 비용과 경제적 비용을 감소시킨다.
• 공유 백본 구성 요소를 갖춘 모듈식이고 재사용 가능한 아키텍처를 통해 MTL는 생산 환경에서의 모델 배포 및 유지보수를 단순화한다.
• 어댑터 및 하이퍼네트워크와 같은 아키텍처 구성 요소는 MTL와 CL 간에 공유되며, 이는 CMTL 모델 구축에 강력한 기반을 제공한다.
• MTL와 CL을 통합한 CMTL 프레임워크는 치명적 잊힘(catastrophic forgetting)을 방지하면서도 새로운 작업과 분포 변화를 처리할 수 있도록 모델을 가능하게 한다.
• 주기적 재학습, 작업 도착 빈도, 분포 변화를 시뮬레이션하는 벤치마크는 CMTL 모델을 효과적으로 평가하기 위해 필수적이다.
• 제안된 CMTL 접근법은 기존의 MTL 구성 요소를 활용하며, 어댑터 또는 파라미터 격리 모듈만 수정함으로써 기존 MTL 시스템과의 후행 호환성을 확보할 수 있다.

Figure 3: (A). Adapter-BERT (Houlsby et al., 2019 ) uses adapters in a transformer layer (Vaswani et al., 2017 ) . Adapters are 2-layer networks with skip-connections, added twice per layer. Only adapters (yellow) and layer norm (green) are trainable while other modules (grey) are frozen. (B). B-CL