[논문 리뷰] Exploring and Predicting Transferability across NLP Tasks

Tu Vu, Tong Wang외 6명|arXiv (Cornell University)|2020. 05. 02.

Topic Modeling참고 문헌 55인용 수 11

한 줄 요약

이 논문은 33개의 NLP 작업을 대상으로 한 대규모 실험 연구를 수행하여, 다양한 소스 작업—특히 데이터가 적거나 다소 다를 수 있는 작업—에 대해 BERT를 미세조정하면 목표 작업, 특히 데이터가 부족한 상황에서 성능 향상에 크게 기여할 수 있음을 입증한다. 특히 데이터 부족 상황에서 성능 향상이 두드러진다. 본 연구는 BERT 기울기에서 유도된 작업 임베딩을 도입하여 코사인 유사도를 통해 가장 이식 가능한 소스 작업을 예측함으로써, 텍스트 분류, 질의 응답, 시퀀스 레이블링 작업 전반에 걸쳐 측정 가능한 성능 향상을 이끌어내는 효과적인 전이 학습 선택 기법을 제공한다.

ABSTRACT

Recent advances in NLP demonstrate the effectiveness of training large-scale language models and transferring them to downstream tasks. Can fine-tuning these models on tasks other than language modeling further improve performance? In this paper, we conduct an extensive study of the transferability between 33 NLP tasks across three broad classes of problems (text classification, question answering, and sequence labeling). Our results show that transfer learning is more beneficial than previously thought, especially when target task data is scarce, and can improve performance even when the source task is small or differs substantially from the target task (e.g., part-of-speech tagging transfers well to the DROP QA dataset). We also develop task embeddings that can be used to predict the most transferable source tasks for a given target task, and we validate their effectiveness in experiments controlled for source and target data size. Overall, our experiments reveal that factors such as source data size, task and domain similarity, and task complexity all play a role in determining transferability.

연구 동기 및 목표

• 다양한 NLP 작업 간 전이 학습이 성능 향상에 얼마나 영향을 미치는지, 어떤 조건에서 그러한 영향을 받는지 조사하기.
• 데이터 크기, 작업 유사도, 도메인 일치도, 작업 복잡도와 같은 핵심 요소들이 전이 가능성에 미치는 영향을 규명하기.
• 특히 데이터가 적은 환경에서 주어진 목표 작업에 대해 가장 이식 가능한 소스 작업을 예측할 수 있는 실용적인 방법을 개발하기.
• 33개의 NLP 작업에 대한 사전 학습 모델과 작업 임베딩을 공개할 수 있는 라이브러리를 구축하여 재현 가능하고 확장 가능한 전이 학습 연구를 지원하기.

제안 방법

• 저자들은 Achille 등(2019)의 메타학습 원칙을 따르며, 데이터셋의 모든 예제를 BERT를 통해 처리하고, 작업 전용 손실에 대한 기울기를 집계하여 작업 임베딩을 계산한다.
• 각 작업당 한 번만 학습된 작업 임베딩은 라이브러리에 저장되어, 주어진 목표 작업에 대해 소스 작업을 효율적으로 유사도 기반으로 선별할 수 있도록 한다.
• 전이 학습을 위해, 먼저 예측된 가장 유사한 작업 임베딩을 가진 소스 작업에서 모델을 미세조정한 후, 목표 작업에서 다시 미세조정한다.
• 전이 가능성은 세 가지 유형으로 분류된 33개의 NLP 작업에서 평가되며, 데이터 제약 조건(전체, 제한, 저데이터)에 따라 분석된다.
• 주어진 목표 작업에 대해 가장 관련성이 높은 소스 작업을 식별하기 위해 작업 임베딩 간 코사인 유사도를 사용하며, 이는 자동화된 소스 작업 선택을 가능하게 한다.
• 본 연구는 BERT-Base Uncased를 기반 모델로 사용하며, STILTs 파ip라인(Phang 등, 2018)을 활용하여 소스 작업에서 학습한 후 목표 작업에서 미세조정한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 제약 조건에서 33개의 NLP 작업 간 전이 학습 성능는 어떻게 변화하는가?
• RQ2 특히 목표 데이터가 부족한 상황에서, 데이터가 적거나 의미적으로 다를 수 있는 소스 작업이 목표 작업 성능 향상에 얼마나 기여할 수 있는가?
• RQ3 작업 유사도, 도메인 일치도, 데이터 크기, 작업 복잡도가 함께 전이 가능성에 어떻게 영향을 미치는가?
• RQ4 BERT 기울기에서 유도된 작업 임베딩이 주어진 목표 작업에 대해 가장 이식 가능한 소스 작업을 예측할 수 있는가?
• RQ5 제안된 방법이 무작위 또는 히ュ리스틱 기반 선택 대비 측정 가능한 성능 향상을 이끌어내는 데 얼마나 효과적인가?

주요 결과

• 전이 학습은 데이터가 적은 목표 작업에서 성능 향상에 크게 기여하며, 소스 작업이 작거나 목표 작업과 의미적으로 거리가 있어도 성능 향상이 가능하다.
• 형태소 태깅(POS-PTB) 작업을 소스 작업으로 사용했을 때, DROP 질의 응답 데이터셋에서 1.5%p의 절대적 성능 향상을 기록하여, 다양한 작업 간 강력한 전이 가능성을 입증했다.
• SQuAD-1 또는 SQuAD-2를 중간 작업으로 사용해 미세조정하면, 시퀀스 레이블링 작업인 POS-PTB 및 NER에서 전체→제한 데이터 제약 조건에서 최대 3.5%의 성능 향상을 달성했다.
• BERT 기울기에서 유도된 작업 임베딩은 의미 있는 작업 특성을 포착하여, 코사인 유사도를 통한 이식 가능한 소스 작업 예측이 정확하게 가능했다.
• 제한→제한 데이터 제약 조건에서, 예측된 소스 작업을 사용한 결과 모든 시퀀스 레이블링 작업에서 일관된 성능 향상이 관찰되었으며, 기준 미세조정 대비 평균 1.5–2.5%의 향상이 이루어졌다.
• 연구 결과, 작업 및 도메인 유사도가 데이터 크기만으로는 전이 성공 여부를 더 잘 예측하는 것으로 나타났으며, 이는 이전 가정인 '더 큰 소스 데이터셋이 항상 더 낫다'는 전제를 도전하는 결과였다.