[논문 리뷰] Multi-task Learning for Universal Sentence Embeddings: A Thorough Evaluation using Transfer and Auxiliary Tasks

Wasi Uddin Ahmad, Xueying Bai외 4명|arXiv (Cornell University)|2018. 04. 21.

Topic Modeling참고 문헌 42인용 수 7

한 줄 요약

이 논문은 SNLI, Multi-NLI, Quora 복제 질문 세 가지 다채널 텍스트 분류 작업에서 동시에 최적화함으로써 보편적 문장 임베딩을 훈련하기 위한 다중 과제 학습 프레임워크를 제안한다. 이로 인해 15개의 후행 작업에서 전이 성능이 크게 향상된다. ELMo 및 CoVe와 같은 컨텍스트 기반 단어 표현과 결합할 경우, 단일 과제 학습 및 최신 기준 성능을 뛰어넘는다.

ABSTRACT

Learning distributed sentence representations is one of the key challenges in natural language processing. Previous work demonstrated that a recurrent neural network (RNNs) based sentence encoder trained on a large collection of annotated natural language inference data, is efficient in the transfer learning to facilitate other related tasks. In this paper, we show that joint learning of multiple tasks results in better generalizable sentence representations by conducting extensive experiments and analysis comparing the multi-task and single-task learned sentence encoders. The quantitative analysis using auxiliary tasks show that multi-task learning helps to embed better semantic information in the sentence representations compared to single-task learning. In addition, we compare multi-task sentence encoders with contextualized word representations and show that combining both of them can further boost the performance of transfer learning.

연구 동기 및 목표

• 다중 과제 학습이 단일 과제 학습 대비 보편적 문장 임베딩의 일반화 성능을 향상시키는지 조사하기 위해.
• 다중 과제 문장 임베딩을 ELMo, CoVe와 같은 컨텍스트 기반 단어 표현과 조합할 경우 전이 학습 성능이 더욱 향상되는지 평가하기 위해.
• 보조 과제를 통해 다중 과제로 학습된 문장 표현이 포괄하는 문법적 및 의미적 정보를 분석하기 위해.
• 다중 과제 학습에서 성능 향상이 증가된 훈련 데이터의 영향인지, 공동 최적화의 인덕티브 바이어스의 영향인지 판단하기 위해.
• 훈련 데이터의 다양한 도메인의 영향이 학습된 문장 표현의 품질에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• SNLI(자연어 추론), Multi-NLI(다양한 장르의 NLI), Quora(복제 질문 탐지) 세 가지 대규모 텍스트 분류 데이터셋에서 공통 문장 인코더를 훈련한다.
• 완전 공유(FS) 및 공유-개별(SP) 모델이라는 두 가지 다중 과제 학습 프레임워크를 구현하며, 문장 인코더는 과제 간에 공유하고 과제별 헤드는 별도로 훈련한다.
• SP 모델의 공통 인코더를 사용하여 15개의 후행 전이 과제와 6개의 보조 언어 과제에서 평가한다.
• 다중 과제 문장 임베딩을 ELMo, CoVe와 같은 컨텍스트 기반 단어 표현과 조합하여 하이브리드 인코딩 방식을 구현한다.
• SNLI 및 Quora 데이터에서 동일한 크기의 서브셋을 샘플링하여 다중 과제 학습의 영향을 데이터 양과 분리해 분석하는 아블레이션 연구를 수행한다.
• 전이 과제 및 보조 과제에서의 성능 평가를 통해 문법적 및 의미적 표현 품질을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 NLP 과제에서의 다중 과제 학습이 단일 과제 학습 대비 문장 임베딩의 일반화 성능을 향상시키는가?
• RQ2 전이 학습 성능 향상의 정도가 증가된 훈련 데이터의 영향인지, 공동 최적화의 인덕티브 바이어스의 영향인지 어느 정도인가?
• RQ3 다중 과제로 학습된 문장 임베딩이 단일 과제 및 컨텍스트 기반 단어 표현 대비 문법적 및 의미적 언어 정보를 얼마나 잘 포착하는가?
• RQ4 다중 과제 문장 임베딩을 ELMo, CoVe와 같은 컨텍스트 기반 단어 벡터와 조합할 경우 전이 과제에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 Multi-NLI와 같이 다중 도메인 데이터셋에서 훈련할 경우, 단일 도메인 데이터셋에서 훈련하는 것보다 더 견고한 문장 표현을 얻을 수 있는가?

주요 결과

• 다중 과제 학습은 10개의 전이 과제 중 7개에서 단일 과제 학습을 능가하고 나머지 3개에서는 유사한 성능을 기록하여 일반화 성능 향상을 입증한다.
• 다중 과제 문장 임베딩을 ELMo 및 CoVe와 조합한 결과, 10개의 전이 과제 중 5개에서 새로운 최고 성능을 달성한다.
• 보조 과제에서 다중 과제 임베딩은 특히 단어 의미 해석 분리 과제에서 경쟁력 있는 성능를 보이며 의미 정보의 효과적인 포착을 시사한다.
• Multi-NLI에서만 훈련된 문장 인코더가 다른 과제별 및 공통 인코더보다 보조 과제에서 뛰어난 성능를 보이며, 도메인 다양성이 표현 품질 향상에 기여함을 시사한다.
• 아블레이션 실험 결과, 동일한 총 데이터 크기에서 다중 과제 학습은 단일 과제 학습 대비 평균 0.69% 향상된 성능를 기록하여, 데이터 양 외의 요인에 기인한 성능 향상임을 확인한다.
• 원천과 대상 간 유사도가 높은 과제(예: STS-16)에서도 다중 과제 학습이 단일 과제 학습을 능가함을 확인하여, 저자료 전이 환경에서도 견고함을 입증한다.