[논문 리뷰] Supervised Learning of Universal Sentence Representations from Natural Language Inference Data

Alexis Conneau, Douwe Kiela외 3명|arXiv (Cornell University)|2017. 05. 05.

Topic Modeling참고 문헌 48인용 수 2,056

한 줄 요약

저자들은 SNLI에서 감독 방식으로 학습된 보편적 문장 임베딩이 SkipThought 같은 비감독 방법을 넘어서 넓은 전이 태스크에서 최첨단 결과를 제공하며, BiLSTM 최대풀링 인코더가 최첨단 성능을 제공함을 보여준다. SNLI에서의 학습은 더 빠르고 고품질의 전달 가능한 문장 표현을 가능하게 한다.

ABSTRACT

Many modern NLP systems rely on word embeddings, previously trained in an unsupervised manner on large corpora, as base features. Efforts to obtain embeddings for larger chunks of text, such as sentences, have however not been so successful. Several attempts at learning unsupervised representations of sentences have not reached satisfactory enough performance to be widely adopted. In this paper, we show how universal sentence representations trained using the supervised data of the Stanford Natural Language Inference datasets can consistently outperform unsupervised methods like SkipThought vectors on a wide range of transfer tasks. Much like how computer vision uses ImageNet to obtain features, which can then be transferred to other tasks, our work tends to indicate the suitability of natural language inference for transfer learning to other NLP tasks. Our encoder is publicly available.

연구 동기 및 목표

• 감독 데이터가 일반 목적의 문장 인코더를 학습하기 위해 어떻게 사용될 수 있는지 조사한다.
• 여러 문장 인코더 아키텍처를 비교하여 어떤 것이 태스크 간 전이에 가장 잘 작동하는지 식별한다.
• 자연어 추론(SNLI)에서의 학습이 다른 감독 또는 비감독 접근법보다 전이 성능이 더 우수하다는 것을 입증한다.
• 제안된 문장 표현의 학습 및 배포의 효율성과 실용성을 평가한다.

제안 방법

• 공유 인코더를 사용하여 SNLI 자연어 추론 데이터셋에서 문장 인코더를 학습하고, 전제(premises)와 가설(hypotheses)에 대한 표현을 생성한다.
• 인코딩된 문장 쌍에 대해 (concatenation, element-wise product, absolute difference) 세 가지 매칭 방법을 적용한 뒤, entailment/contradiction/neutral 분류를 위한 소프트맥스(classifier)를 수행한다.
• 임베딩의 전이 가능성을 평가하기 위해 다양한 인코더 아키텍처(LSTM/GRU/BiLSTM with mean or max pooling, self-attentive networks, hierarchical convnets)를 평가한다.
• 단어 임베딩(GloVe)을 고정하고, 전달 평가를 위해 로지스틱 회귀를 사용하여 상단에 분류기를 학습한다.
• SentEval을 사용하여 이진 및 다중 클래스 분류, entailment, 의미적 관련성, 이미지-설명 태스크를 포함한 12개 다운스트림 태스크에 걸친 전이 평가를 자동화한다.

실험 결과

연구 질문

• RQ1 SNLI에서 학습된 감독 문장 인코더가 다양한 NLP 태스크로 전달되는 보편적 표현을 제공할 수 있는가?
• RQ2 SNLI에서 학습될 때 어떤 인코더 아키텍처가 전달 가능한 의미 정보를 가장 잘 보존하는가?
• RQ3 전이 태스크에서 SNLI에 대한 감독 학습이 다른 감독 또는 비감독 문장 표현 학습 방법보다 우수한가?
• RQ4 임베딩 크기가 아키텍처 간 전이 성능에 어떤 영향을 미치는가?
• RQ5 데이터 다양성(SNLI 대 MultiNLI 등)이 문장 임베딩의 일반화에 미치는 영향은 무엇인가?

주요 결과

• SNLI에서 학습된 max pooling이 있는 BiLSTM이 많은 태스크에서 강한 전이 성능을 보이며, 여러 지표에서 SkipThought 같은 비감독 방법을 능가한다.
• SNLI 태스크에서 최상위 성능을 보이는 일부 아키텍처는 태스크 편향에 과적합되어 전이 태스크에서 저조한 성능을 보일 수 있어, 일반화가 잘되는 아키텍처의 필요성을 강조한다.
• 더 큰 임베딩 크기는 여러 모델에서 전이 성능을 일반적으로 향상시키며, 더 풍부한 표현이 다운스트림 태스크에 도움이 됨을 시사한다.
• SNLI-학습 임베딩은 다른 감독 태스크 학습 임베딩들(예: COCO, 사전 정의, NMT)을 전이 설정에서 능가하며, NLI가 포착한 의미 구조가 매우 전이 가능하다는 것을 나타낸다.
• SNLI(및 MultiNLI를 포함한 AllNLI) 학습은 SICK-E 및 SICK-R과 같은 아웃 도메인 태스크의 성능을 향상시키며, 장르와 도메인 간 강건성을 입증한다.
• 이미지-캡션 검색에서 SNLI-학습 BiLSTM-max 임베딩은 경쟁력 있는 결과를 보이며, 강력한 시각 특성과 결합될 때 일부 직접 학습 기반 기초 모델에 근접하거나 이를 능가한다.