[논문 리뷰] Trimming and Improving Skip-thought Vectors

Shuai Tang, Hailin Jin외 3명|arXiv (Cornell University)|2017. 06. 09.

Topic Modeling참고 문헌 27인용 수 6

한 줄 요약

이 논문은 한 개의 디코더를 제거하고, 인코더와 디코더 사이에 평균+최대 연결을 도입하며, 사전 훈련된 단어 임베딩을 초기화에 사용하여 더 빠르고 가볍고 동일한 효과를 가지는 스킵-사고트 모델의 변종을 제안한다. 결과적으로 이 모델는 파arameter 수와 훈련 시간을 줄이며 7개의 하류 NLP 작업에서 경쟁적인 성능을 달성한다.

ABSTRACT

The skip-thought model has been proven to be effective at learning sentence representations and capturing sentence semantics. In this paper, we propose a suite of techniques to trim and improve it. First, we validate a hypothesis that, given a current sentence, inferring the previous and inferring the next sentence provide similar supervision power, therefore only one decoder for predicting the next sentence is preserved in our trimmed skip-thought model. Second, we present a connection layer between encoder and decoder to help the model to generalize better on semantic relatedness tasks. Third, we found that a good word embedding initialization is also essential for learning better sentence representations. We train our model unsupervised on a large corpus with contiguous sentences, and then evaluate the trained model on 7 supervised tasks, which includes semantic relatedness, paraphrase detection, and text classification benchmarks. We empirically show that, our proposed model is a faster, lighter-weight and equally powerful alternative to the original skip-thought model.

연구 동기 및 목표

• 원래 스킵-사고트 모델의 계산 및 파arameter 오버헤드를 줄이되 성능을 손상시키지 않기 위해.
• 이전 문장과 다음 문장을 모두 재구성하는 것보다 다음 문장만 재구성하는 것이 충분한 지도를 제공하는지 검증하기 위해.
• 인코더와 디코더 간의 향상된 기능 상호작용을 통해 의미 유사성 및 기타 NLP 작업에서의 일반화 성능을 향상시키기 위해.
• 비지도 문장 표현 학습에서 전이 학습 성능에 미치는 단어 임베딩 초기화의 영향을 조사하기 위해.

제안 방법

• 모델의 복잡성과 훈련 속도를 줄이기 위해 이전 문장 디코더를 제거하고 다음 문장 디코더만 유지한다.
• 인코더와 디코더 사이에 평균+최대 연결 레이어를 도입하여, 은닉 상태의 원소별 평균과 최댓값을 연결함으로써 기능 표현을 향상시킨다.
• 단어 임베딩 레이어의 초기화에 사전 훈련된 단어 임베딩(예: GloVe)을 사용하여 문장 표현 품질을 향상시킨다.
• 대규모 코퍼스에서 연속된 문장 튜플을 대상으로 비지도 방식으로 엔드 투 엔드로 모델을 훈련시키며, 다음 문장 예측을 목적함으로 삼는다.
• 시퀀스 모델링을 위해 양방향 GRU를 인코더로, 자동회귀 RNN을 디코더로 사용한다.
• 최종 문장 표현을 의미 유사성, 동의어 탐지, 텍스트 분류 등 7개의 하류 작업에서 평가한다.

실험 결과

연구 질문

• RQ1 이전 문장과 다음 문장을 모두 재구성하는 대신 다음 문장만 재구성하는 것이 문장 표현 작업에서 성능을 떨어뜨리는가?
• RQ2 평균+최대와 같은 비선형적이고 비모수적 연결 메커니즘이 복잡한 의미적 상호작용을 포착하는 데 모델의 능력을 향상시킬 수 있는가?
• RQ3 단어 임베딩 초기화는 비지도 문장 표현의 전이 가능성과 성능에 어떤 영향을 미치는가?
• RQ4 모델 크기를 늘릴 수 있는 정도는 어느 정도이며, 이는 파arameter 수의 비례적 증가 없이 성능 향상에 기여하는가?

주요 결과

• 다음 문장 디코더만을 유지한 단순화된 스킵-사고트 모델은 모든 7개의 하류 작업에서 원래 스킵-사고트 모델과 유사한 성능을 달성한다.
• 평균+최대 연결 레이어는 단순 연결보다 의미 유사성 및 동의어 탐지 작업에서 성능 향상이著명하다.
• 사전 훈련된 단어 임베딩(GloVe 등)은 특히 의미 유사성 및 텍스트 분류 벤치마크에서 전이 성능 향상에 뚜렷한 기여를 한다.
• 인코더 차원을 늘리면 성능 향상이 이루어지며, 원래 스킵-사고트 모델보다 훨씬 적은 파arameter 수를 유지한다.
• 원래 스킵-사고트 모델보다 빠르게 훈련되며 파arameter 수가 적지만, 비지도 문장 표현 학습 분야에서 최고 성능을 유지한다.
• 모델은 SICK, SNLI, 텍스트 분류 데이터셋 등 다양한 NLP 작업에서 피지컬 테스트 없이도 잘 일반화된다.