[논문 리뷰] Universal Sentence Encoder

Daniel Cer, Yinfei Yang외 11명|arXiv (Cornell University)|2018. 03. 29.

Topic Modeling참고 문헌 18인용 수 1,292

한 줄 요약

요지는: 이 논문은 두 가지 문장 인코딩 모델(트랜스포머 기반 및 Deep Averaging Network)을 제시하여 다양한 NLP 태스크에 전이 가능한 문장 임베딩을 생성하고, 데이터, 자원, 편향을 분석하며, 저자원에서의 전이 성능이 강하다는 것을 보여준다.

ABSTRACT

We present models for encoding sentences into embedding vectors that specifically target transfer learning to other NLP tasks. The models are efficient and result in accurate performance on diverse transfer tasks. Two variants of the encoding models allow for trade-offs between accuracy and compute resources. For both variants, we investigate and report the relationship between model complexity, resource consumption, the availability of transfer task training data, and task performance. Comparisons are made with baselines that use word level transfer learning via pretrained word embeddings as well as baselines do not use any transfer learning. We find that transfer learning using sentence embeddings tends to outperform word level transfer. With transfer learning via sentence embeddings, we observe surprisingly good performance with minimal amounts of supervised training data for a transfer task. We obtain encouraging results on Word Embedding Association Tests (WEAT) targeted at detecting model bias. Our pre-trained sentence encoding models are made freely available for download and on TF Hub.

연구 동기 및 목표

• NLP의 데이터 부족 문제를 해결하기 위해 다운스트림 태스크로 잘 전이되는 고품질 문장 임베딩을 제공한다.
• 두 가지 인코딩 아키텍처(Transformer 대 DAN)의 정확도, 속도, 자원 사용 측면에서의 비교를 수행한다.
• 태스크별 데이터 양이 다양한 다수의 NLP 태스크에서 전이 학습 성능을 평가한다.
• WEAT를 이용해 문장 수준 임베딩에서의 편향 가능성을 조사하고 단어 수준 기준선과 비교한다.

제안 방법

• 두 가지 문장 인코더를 제안한다: Transformer 기반 인코더와 Deep Averaging Network(DAN) 인코더.
• 두 모델 모두 다중 태스크 목표로 학습되며 SNLI로부터의 감독 데이터를 보강한다.
• 임베딩은 다운스트림 태스크 모델에 입력되는 512차원 벡터이며 평가에는 의미적 텍스트 유사도 및 전이 태스크가 포함된다.
• 전이 태스크 예측은 태스크 특정 신경망을 사용하거나 문장 임베딩 간의 직접적 유사도를 사용한다.
• 문장 임베딩 간의 유사도는 논문에서 정의된 각도 거리(Angular distance)를 사용하여 측정한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 및 DAN 기반의 보편적 문장 인코더의 전이 태스크 성능은 어떻게 비교되는가?
• RQ2 강한 전이 성능을 달성하기 위한 모델 복잡성, 계산 자원, 데이터 요구 간의 트레이드오프는 무엇인가?
• RQ3 다양한 NLP 태스크에서 문장 수준 임베딩이 단어 수준 전이 기준선을 능가하는가?
• RQ4 태스크 데이터가 부족할 때 문장 수준 전이와 단어 수준 전이가 성능에 어떤 영향을 주는가?
• RQ5 WEAT 분석을 통해 보편적 문장 인코더에서 어떤 편향이 탐지되며, 단어 임베딩 편향과는 어떻게 비교되는가?

주요 결과

모델	MR	CR	SUBJ	MPQA	TREC	SST	STS 벤치
Sentence & Word Embedding Transfer Learning	77.11	81.71	93.12	87.01	94.72	82.14	–
USE_T+CNN (w2v w.e.)	78.20	82.04	93.24	85.87	97.67	85.29	–
USE_D+CNN (w2v w.e.)	81.18	87.45	93.58	87.32	98.07	86.69	–
USE_D+DAN (w2v w.e.)	81.32	86.66	93.90	88.14	95.51	86.62	–
Sentence Embedding Transfer Learning USE_D	74.45	80.97	92.65	85.38	91.19	77.62	0.763 / 0.719 (r)
Sentence Embedding Transfer Learning USE_T	81.44	87.43	93.87	86.98	92.51	85.38	0.814 / 0.782 (r)
USE_D+DAN (lrn w.e.)	77.57	81.93	92.91	85.97	95.86	83.41	–
USE_D+CNN (lrn w.e.)	78.49	81.49	92.99	85.53	97.71	85.27	–
USE_T+DAN (lrn w.e.)	81.36	86.08	93.66	87.14	96.60	86.24	–
USE_T+CNN (lrn w.e.)	81.59	86.45	93.36	86.85	97.44	87.21	–
DAN (w2v w.e.)	74.75	75.24	90.80	81.25	85.69	80.24	–
CNN (w2v w.e.)	75.10	80.18	90.84	81.38	97.32	83.74	–
DAN (lrn w.e.)	66.87	71.23	73.70	77.85	78.07	80.15	81.52
CNN (lrn w.e.)	67.98	71.81	74.90	79.14	81.04	82.72	84.90

• Transformer 기반 USE는 일반적으로 DAN 기반 USE와 전이 태스크에서 동등하거나 더 우수한 성능을 보이지만, 자원 증가에 따라 정확도가 상승한다.
• DAN은 더 빠른 추론과 메모리 사용 감소를 제공하며 여러 태스크에서 경쟁력 있는 성능을 보인다.
• 문장 수준의 전이 학습은 대부분의 태스크에서 단어 수준 전이보다 일반적으로 더 나은 성능을 보이며, 두 가지를 결합하면 최상의 전체 결과를 얻을 수 있다.
• 제로/소규모 타깃 태스크 데이터일 때 USE_T(Transformer)가 강력한 성능을 달성하며, 더 큰 데이터로 학습된 모델에 근접하거나 이를 상회한다.
• WEAT 분석 결과 DAN 변형은 GloVe에 비해 여러 지표에서 유사한 편향을 보이나 일반적으로 약한 경향이 있으며, 이는 학습 데이터 구성에 따라 달라진다.
• 사전 학습된 인코더는 TF Hub 사용 및 연구를 위해 공개되어 있다.