[논문 리뷰] Evaluation of sentence embeddings in downstream and linguistic probing tasks

Christian S. Perone, Roberto Pereira Silveira외 1명|arXiv (Cornell University)|2018. 06. 16.

Topic Modeling참고 문헌 32인용 수 103

한 줄 요약

이 논문은 최근 문장 임베딩 방법들의 하류 작업 및 언어 프로빙 작업에 대한 포괄적 평가를 제공하며, 보편적 인코더는 아직 없지만 ELMo 기반 BoW 표현의 강력한 성능과 언어 모델 특성의 통합 가능성을 강조한다.

ABSTRACT

Despite the fast developmental pace of new sentence embedding methods, it is still challenging to find comprehensive evaluations of these different techniques. In the past years, we saw significant improvements in the field of sentence embeddings and especially towards the development of universal sentence encoders that could provide inductive transfer to a wide variety of downstream tasks. In this work, we perform a comprehensive evaluation of recent methods using a wide variety of downstream and linguistic feature probing tasks. We show that a simple approach using bag-of-words with a recently introduced language model for deep context-dependent word embeddings proved to yield better results in many tasks when compared to sentence encoders trained on entailment datasets. We also show, however, that we are still far away from a universal encoder that can perform consistently across several downstream tasks.

연구 동기 및 목표

• 현대 문장 임베딩의 다양한 하류 작업 전이 성능을 평가한다.
• 프로빙 태스크를 통해 문장 임베딩이 포착하는 언어적 속성을 조사한다.
• 순수하게 비감독/자기감독 학습 방식과 감독 학습 방식의 문장 임베딩 접근법을 비교한다.
• 일반 목적 전송에 가장 잘 활용되는 표현과 그들이 인코딩하는 언어적 특징을 식별한다.

제안 방법

• SentEval 프레임워크를 사용하여 하류 및 프로빙 태스크에 걸쳐 다양한 문장 임베딩 방법을 평가한다.
• 단어 임베딩의 bag-of-words 평균(ELMo 변형, FastText, GloVe, Word2Vec, p-mean)과 인코더/디코더 모델(Skip-Thought, InferSent, USE, UNiversal Sentence Encoder 변형)을 사용한다.
• 하류 태스크를 위해 문장 임베딩 위에 단순한 MLP 분류기(또는 WC 프로빙의 경우 로지스틱 회귀)를 학습한다.
• 임베딩에서 언어적 속성 포착을 분석하기 위해 10개의 언어 프로빙 태스크를 적용한다.
• STS 벤치마크 및 관련 데이터 세트를 통해 의미적 관련성 및 텍스트 유사성을 측정한다.
• 교차 방법 비교를 가능하게 하도록 표준화된 파이프라인을 사용하여 평가를 재현한다.

실험 결과

연구 질문

• RQ1 최근의 문장 임베딩 방법들이 광범위한 하류 작업에서 어떻게 성능을 보이는가?
• RQ2 문장 임베딩이 보편적으로 모든 작업 간 전이되는가, 아니면 명확한 작업 의존적 강점과 약점이 있는가?
• RQ3 프로빙 태스크를 통해 어떤 언어적 속성이 서로 다른 임베딩에 인코딩되어 있는가?
• RQ4 언어 모델 기반 임베딩(예: ELMo, USE)이 다양한 작업에서 전통적인 BoW 평균보다 뛰어난 성능을 보일 수 있는가?
• RQ5 성능과 계산 비용 사이의 가장 강력한 균형을 제공하는 구성이 무엇인가?

주요 결과

• 모든 계층의 BoW 평균화와 함께한 ELMo가 여러 하류 작업에서 최고 성능을 달성하여, 깊은 맥락적 특징이 전이에 도움을 준다는 것을 시사한다.
• InferSent는 entailment 관련 작업(SICK-E 등) 및 패러프레이즈 관련 작업에서 뛰어나며, SNLI/MNLi 학습 이점을 반영한다.
• Universal Sentence Encoder(Transformer)는 여러 하류 작업 및 의미적 유사성 벤치마크에서 강력한 성능을 보이나 작업에 따라 결과가 다르다.
• p-mean은 단순한 GloVe/Word2Vec/fastText 평균에 비해 강한 기준선을 제공하며, 특히 자원이 제한될 때 더 두드러진다.
• 전반적으로, 모든 작업에서 일관된 성능으로 작동하는 보편적 인코더는 단일 방법으로 존재하지 않으며; 깊은 언어 모델 표현의 통합은 유망한 방향이다.