[논문 리뷰] An efficient framework for learning sentence representations

Lajanugen Logeswaran, Honglak Lee|arXiv (Cornell University)|2018. 03. 07.

Topic Modeling참고 문헌 33인용 수 300

한 줄 요약

이 논문은 QT를 소개합니다. 이는 비표기 텍스트로부터 문장 임베딩을 학습하기 위한 판별적이고 효율적인 프레임워크로, 무감레이즈드(unlabelled) 데이터에서 최첨단 비지도 성능을 달성하고 학습 속도를 크게 향상시킵니다.

ABSTRACT

In this work we propose a simple and efficient framework for learning sentence representations from unlabelled data. Drawing inspiration from the distributional hypothesis and recent work on learning sentence representations, we reformulate the problem of predicting the context in which a sentence appears as a classification problem. Given a sentence and its context, a classifier distinguishes context sentences from other contrastive sentences based on their vector representations. This allows us to efficiently learn different types of encoding functions, and we show that the model learns high-quality sentence representations. We demonstrate that our sentence representations outperform state-of-the-art unsupervised and supervised representation learning methods on several downstream NLP tasks that involve understanding sentence semantics while achieving an order of magnitude speedup in training time.

연구 동기 및 목표

• 라벨이 없는 데이터 없이 고품질의 문장 표현 학습을 동기부여한다.
• 정확한 맥락 문장을 후보들 사이에서 식별하는 판별적 목표를 제안한다.
• 대규모 말뭉치에 맞춰 유연한 인코더 아키텍처와 효율적인 학습을 가능하게 한다.
• 학습된 임베딩이 시맨틱 NLP 태스크의 성능을 향상시킴을 보여준다.
• 사전 학습된 인코더를 제공하고, 기존 방법에 비해 경쟁력 있거나 우수한 성능을 입증한다.

제안 방법

• 인코더 f와 g가 산출하는 문장 임베딩을 의미로 표현한다.
• 자생적으로 생성하는 대신, 올바른 맥락 문장을 후보들 중에서 선택하는 판별적 목표를 사용한다.
• 점수 함수 c(u,v)를 사용한다; 실제로 c는 내적곱 u^T v이다.
• 후보 맥락에 대한 교차 엔트로피 손실로 학습한다(정답이 음수보다 그럴듯하다).
• 테스트 시점에 문장 표현으로 f(s)와 g(s)를 이어 붙인다.
• GRU 기반 RNN 인코더를 사용하고 BookCorpus와 UMBC 데이터로 학습하되 MC-QT에서 사전 학습된 단어 벡터를 활용한다.

실험 결과

연구 질문

• RQ1 비판별적, 맥락 예측 목표가 라벨이 없는 데이터로부터 고품질의 문장 임베딩을 생성할 수 있는가?
• RQ2 다른 인코더 아키텍처(단방향/양방향 GRU, CNN 변형, 다중 채널 입력)가 성능에 어떤 영향을 미치는가?
• RQ3 생성 기반 문장 모델에 비해 학습 효율성과 다운스트림 태스크 정확도에서 어떤 향상을 얻을 수 있는가?
• RQ4 사전 학습된 단어 벡터와 더 큰 코퍼스가 효율성을 저해하지 않으면서 표현을 더욱 향상시키는가?
• RQ5 학습된 표현이 감독 학습 및 다른 비지도 방법과 시맨틱 태스크에서 얼마나 비교되는가?

주요 결과

• QT 변형의 4종(uni-/bi-/combine-/multi-channel)이 다운스트림 시맨틱 태스크에서 최첨단 비지도 성능에 근접하게 경쟁한다.
• 사전 학습된 GloVe 임베딩을 갖춘 MultiChannel-QT(MC-QT)가 강력한 성능을 보이며 여러 기존 방법을 능가한다.
• 프레임워크가 기존의 인코더-디코더 기반 접근 방식보다 한 차원 빠르게 학습하면서도 정확도를 유지하거나 향상시킨다.
• BookCorpus+UMBC 데이터의 결합에서 다수의 태스크에 걸쳐 엄격한 개선이 관찰되어 대규모 코퍼스로의 확장성을 입증한다.
• 다양한 QT 모델의 앙상블은 거의 감독 학습에 근접한 성능을 보여주며 특정 태스크에서 때때로 태스크별 감독 기준선을 능가한다.
• 이 접근은 대규모 비지도 문장 표현 학습에 적합한 효율적이고 유연한 인코더를 제공한다.