[논문 리뷰] Learned in Translation: Contextualized Word Vectors

Bryan McCann, James Bradbury외 2명|arXiv (Cornell University)|2017. 08. 01.

Topic Modeling인용 수 240

한 줄 요약

본 논문은 MT-학습 MT-LSTM 인코더에서 파생된 맥락 벡터인 CoVe를 소개하고, CoVe를 단어 임베딩에 추가하는 것이 단어 벡터만 사용할 때보다 여러 NLP 태스크(감정분석, 함의 여부, QA)에서 성능을 향상시킨다는 것을 보인다.

ABSTRACT

Computer vision has benefited from initializing multiple deep layers with weights pretrained on large supervised training sets like ImageNet. Natural language processing (NLP) typically sees initialization of only the lowest layer of deep models with pretrained word vectors. In this paper, we use a deep LSTM encoder from an attentional sequence-to-sequence model trained for machine translation (MT) to contextualize word vectors. We show that adding these context vectors (CoVe) improves performance over using only unsupervised word and character vectors on a wide variety of common NLP tasks: sentiment analysis (SST, IMDb), question classification (TREC), entailment (SNLI), and question answering (SQuAD). For fine-grained sentiment analysis and entailment, CoVe improves performance of our baseline models to the state of the art.

연구 동기 및 목표

• 비전에서의 프리트레인된 CNN에 비유하여 기계 번역으로 학습된 인코더 표현을 활용해 NLP에서의 전이 학습을 촉진한다.
• 다운스트림 태스크에 토큰 수준의 맥락 벡터를 제공할 수 있는 재사용 가능한 MT 기반 인코더를 개발한다.
• 단어 임베딩에 CoVe를 추가하는 것이 분류, 함의 여부, 질문 응답 태스크의 성능을 향상시킴을 입증한다.
• MT 데이터의 양과 질이 CoVe의 다운스트림 이득에 어떻게 영향을 미치는지 조사한다.

제안 방법

• 영어→독일어 MT 데이터에서 두 층의 양방향 LSTM 인코더(MT-LSTM)를 학습시켜 각 입력 토큰에 대한 맥락 표현을 생성한다.
• CoVe(w) = MT-LSTM(GloVe(w))로 정의하고, 다운스트림 모델을 위해 CoVe를 GloVe 단어 벡터와 연결(concatenate)한다.
• CoVe로 강화된 입력 시퀀스에서 태스크 표현을 생성하기 위해 biattention과 풀링을 사용하는 일반적인 이중 주의 분류 네트워크(BCN)를 개발한다.
• CoVe를 도입하도록 질문 응답용 Dynamic Coattention Network 프레임워크를 적응시킨다.
• 전이 효과에 대한 데이터 규모를 연구하기 위해 MT-Small, MT-Medium, MT-Large에서 학습된 MT-LSTMs를 실험한다.
• CoVe를 기준 임베딩 및 문자 n-gram 임베딩과 비교하고 SST, SNLI, SQuAD, TREC, IMDb에서 테스트한다.

실험 결과

연구 질문

• RQ1 기준 프리트레인된 단어 벡터만을 사용하는 것과 비교하여 CoVe를 포함하는 것이 다운스트림 NLP 태스크 성능을 향상시킬 수 있는가?
• RQ2 MT 학습 데이터의 규모/질이 다양한 태스크에서 CoVe의 효과에 어떤 영향을 미치는가?
• RQ3 다양한 NLP 태스크에서 CoVe 표현이 단어 벡터 및 문자 수준 특성과 보완적 관계에 있는가?
• RQ4 MT-학습 인코더가 단일 문장 및 다중 문장 분류, 함의, QA 태스크에 걸쳐 효과적으로 전이될 수 있는가?

주요 결과

• CoVe를 GloVe 벡터에 결합했을 때 여러 태스크에서 검증 성능을 일관되게 향상시킨다.
• CoVe는 문자 n-그램 임베딩만 사용할 때보다 더 큰 이득을 제공하며, CoVe와 문자 특징을 결합하면 일부 태스크에서 추가 향상을 얻는다.
• 더 큰 MT 데이터셋(MT-Large)에서 학습된 MT-LSTMs가 더 작은 데이터셋보다 더 강력한 다운스트림 이득을 준다.
• 보고된 구성에서 CoVe를 사용할 때 SST-2, SST-5, SNLI에서 최첨단 결과를 달성한다.
• SQuAD에서 강력한 모델(DCN)에 CoVe를 추가하면 여러 기준값 대비 exact match와 F1이 향상된다.