[논문 리뷰] What you can cram into a single vector: Probing sentence embeddings for linguistic properties

Alexis Conneau, Germán Kruszewski외 3명|arXiv (Cornell University)|2018. 05. 02.

Topic Modeling참고 문헌 41인용 수 276

한 줄 요약

본 논문은 다양한 인코더 및 학습 방법을 통해 문장 임베딩에 인코딩된 언어 정보가 무엇인지 분석하기 위해 10개의 probing task를 도입하고, probing 결과를 다운스트림 태스크와 연결한다.

ABSTRACT

Although much effort has recently been devoted to training high-quality sentence embeddings, we still have a poor understanding of what they are capturing. "Downstream" tasks, often based on sentence classification, are commonly used to evaluate the quality of sentence representations. The complexity of the tasks makes it however difficult to infer what kind of information is present in the representations. We introduce here 10 probing tasks designed to capture simple linguistic features of sentences, and we use them to study embeddings generated by three different encoders trained in eight distinct ways, uncovering intriguing properties of both encoders and training methods.

연구 동기 및 목표

• 다양한 아키텍처에 걸쳐 고정 크기 문장 임베딩에 보존되는 언어적 속성을 평가한다.
• 교차 모델 비교를 가능하게 하도록 probing task 디자인을 체계적으로 제어한다.
• 학습 목표가 임베딩에 인코딩된 언어 정보를 어떻게 영향주는지 조사한다.
• probing task 성능을 다운스트림 분류 및 추론 태스크와 연결한다.

제안 방법

• 단일 문장 입력을 사용하여 표면적, 구문적, 의미론적 속성을 겨냥한 10개의 프로빙 작업을 정의한다.
• 다양한 목표로 학습된 여러 인코더 (BiLSTM-last/max, BiLSTM-max, Gated ConvNet)를 평가한다.
• NMT, NLI, AutoEncoder, Seq2Tree, SkipThought 및 비지도 기준선에 대해 인코더를 학습시키고, 더해 학습되지 않은 무작위 프로젝션도 포함한다.
• 사전에 학습된 임베딩 위에 고정된 분류기(MLP)를 사용하여 프로빙 태스크 라벨을 예측한다.
• 프로빙 결과를 다운스트림 SentEval 벤치마크와 비교하여 상관관계를 평가한다.
• 프로빙 데이터와 도구를 공개한다.

실험 결과

연구 질문

• RQ1 다른 문장 임베딩에서 어떤 언어적 속성이 보존되거나 회복될 수 있는가?
• RQ2 인코더 아키텍처와 학습 목표가 문장 표현에 인코딩된 정보를 어떻게 형성하는가?
• RQ3 프로빙 작업 결과가 다운스트림 NLP 태스크의 성능과 상관관계가 있는가?
• RQ4 학습되지 않은 아키텍처가 문장 표현에 강한 선험 정보를 제공할 수 있는가, 그리고 그것이 학습된 모델과 어떻게 비교되는가?

주요 결과

• Bag-of-Vectors (BoV)는 놀랍게도 특정 문장 속성을 보존하지만, 특히 표면적 속성과 일부 구문 단서를 유지하지만 어휘 순서 민감도는 부족하다.
• 같은 목표로 학습된 인코더 아키텍처는 서로 다른 언어적 속성을 가진 임베딩을 만들어 아키텍처 편향을 강조한다.
• BiLSTM-max는 종종 학습 전에조차 강한 프로빙 성능을 보이며, 고유한 아키텍처 편향을 시사한다.
• NMT로 학습된 인코더가 프로빙 작업에서 구문적 인지력이 더 높은 경향이 있으며, NLI로 학습된 경우 다운스트림 태스크를 위한 얕은 어휘 수준 특징은 더 잘 보존된다.
• WC(단어 내용)와 다운스트림 태스크 간 양의 상관관계가 있으며, SentLen(문장 길이)은 많은 다운스트림 태스크와 음의 상관관계를 보인다; SOMO와 CoordInv는 더 깊은 의미 지식을 조사한다.