[논문 리뷰] Fine-grained Analysis of Sentence Embeddings Using Auxiliary Prediction Tasks

Yossi Adi, Einat Kermany외 3명|arXiv (Cornell University)|2016. 08. 15.

Topic Modeling참고 문헌 27인용 수 297

한 줄 요약

논문은 고정 길이 표현으로부터 낮은 수준 속성(길이, 단어 내용, 단어 순서)을 예측하여 문장 임베딩을 분석하는 프레임워크를 제안하고, CBOW, LSTM auto-encoders, skip-thoughts를 비교한다.

ABSTRACT

There is a lot of research interest in encoding variable length sentences into fixed length vectors, in a way that preserves the sentence meanings. Two common methods include representations based on averaging word vectors, and representations based on the hidden states of recurrent neural networks such as LSTMs. The sentence vectors are used as features for subsequent machine learning tasks or for pre-training in the context of deep learning. However, not much is known about the properties that are encoded in these sentence representations and about the language information they capture. We propose a framework that facilitates better understanding of the encoded representations. We define prediction tasks around isolated aspects of sentence structure (namely sentence length, word content, and word order), and score representations by the ability to train a classifier to solve each prediction task when using the representation as input. We demonstrate the potential contribution of the approach by analyzing different sentence representation mechanisms. The analysis sheds light on the relative strengths of different sentence embedding methods with respect to these low level prediction tasks, and on the effect of the encoded vector's dimensionality on the resulting representations.

연구 동기 및 목표

• 문장 임베딩이 어떤 정보를 인코딩하는지 파악하기 위한 작업 독립적 방법을 개발한다.
• 다른 문장 표현 방법(CBOW, LSTM auto-encoder, skip-thought)을 낮은 수준의 속성과 along으로 비교한다.
• 임베딩 차원이 길이, 내용, 순서의 인코딩에 어떤 영향을 미치는지 조사한다.

제안 방법

• 세 가지 보조 예측 작업(길이, 단어 내용, 단어 순서)을 정의하여 문장 표현을 평가한다.
• 고정 길이 표현에서 s, w, w1, w2로 각 작업을 예측하기 위해 간단한 분류기를 학습한다.
• 각 작업에 대해 균형 잡힌 학습, 개발, 테스트 세트를 생성하기 위해 대규모 Wikipedia 유래 코퍼스를 사용한다.
• 다수의 임베딩 크기에 걸쳐 CBOW(평균 단어 벡터)와 인코더–디코더 LSTM 아키텍처를 비교한다.
• 비교를 위한 추가 표현으로 skip-thought 벡터를 포함한다.
• 단어 순서를 섞고 합성(임의 단어) 데이터 세트를 분석하여 자연어 속성이 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 다른 문장 표현이 문장 길이, 단어 내용, 단어 순서를 어느 정도까지 인코딩하는가?
• RQ2 임베딩 차원이 CBOW, LSTM auto-encoders, skip-thoughts 간 길이, 내용, 순서의 인코딩에 어떤 차이를 만드는가?
• RQ3 인코더가 자연어의 어순 통계에 의존하는가, 문장을 순서를 바꾸면 인코딩에 어떤 변화가 오는가?
• RQ4 재구성에 대한 BLEU가 저수준 인코딩 작업의 인코더 품질의 신뢰할 만한 대리 지표인가?

주요 결과

• LSTM auto-encoders는 단어 순서와 내용을 효과적으로 인코딩하며, 차원이 증가할수록 성능이 어느 정도까지 향상됩니다.
• CBOW은 길이와 단어 순서 정보를 놀랍게도 인코딩하며, 저차원 CBOW가 내용 작업에서 더 복잡한 모델보다 종종 더 좋은 성능을 보입니다.
• 차원을 늘리는 것이 일부 작업에는 더 큰 이점을 주지만, LSTM 인코더의 경우 너무 많은 숨겨진 유닛이 단어 내용 인코딩을 악화시킬 수 있습니다.
• CBOW의 길이 인코딩은 문장 길이에 따른 임베딩 노름 감소 때문인 부분이 있으며, 단어 아이덴티티 때문만은 아닙니다.
• Skip-thoughts는 고차원 LSTM 인코더와 유사하게 단어 내용과 길이를 보존하지만, 어순에 대해서는 자연어 패턴에 더 의존합니다; 문장의 순서를 바꾸면 일부 작업에서 성능이 현저히 저하됩니다.
• BLEU 점수는 단어 내용/단어 순서 인코딩에 대한 인코더 품질을 항상 반영하지 않습니다.