[논문 리뷰] Language Models with Pre-Trained (GloVe) Word Embeddings

Victor Makarenkov, Bracha Shapira외 1명|arXiv (Cornell University)|2016. 10. 12.

Topic Modeling참고 문헌 6인용 수 5

한 줄 요약

이 논문은 사전에 훈련된 GloVe 단어 임베딩을 사용하는 순환 신경망(RNN) 언어 모델을 제시하며, 특히 시퀀스 모델링에 GRU 유닛을 활용한다. 무작위 기반 대비 다음 단어 예측에서 상당히 낮은余弦거리 오차를 달성하였고, 훈련 시간은 2.5분 이내, 추론 시간은 1초 이내로, GloVe 임베딩과 RNN을 조합하여 언어 모델링 작업에 효과적임을 보여준다.

ABSTRACT

In this work we implement a training of a Language Model (LM), using Recurrent Neural Network (RNN) and GloVe word embeddings, introduced by Pennigton et al. in [1]. The implementation is following the general idea of training RNNs for LM tasks presented in [2], but is rather using Gated Recurrent Unit (GRU) [3] for a memory cell, and not the more commonly used LSTM [4].

연구 동기 및 목표

• RNN과 사전에 훈련된 GloVe 단어 임베딩을 사용하여 개선된 시퀀스 예측을 위한 언어 모델을 구현하기.
• 여기서는 여론 거리 측정법을 사용하여 일반 및 도메인 특화 텍스트 코퍼스에서 모델 성능을 평가하기.
• 오차 분포를 사용하여 모델의 예측 정확도를 무작위 기반 대비 비교하기.
• 자동 생성된 레이블을 사용하는 감독 학습 유사 파라다임을 통해 최소한의 레이블 데이터로 이러한 모델을 훈련시키는 가능성과 효율성을 입증하기.
• 연구자들이 이론적 접근을 확장하고 테스트할 수 있도록 Keras와 Theano/TensorFlow를 사용한 재현 가능한 구현 제공하기.

제안 방법

• 420억 토큰 코퍼스에서 사전에 훈련된 300차원 및 50차원의 GloVe 단어 임베딩을 사용하며, 사전에 없는 단어는 무작위 벡터로 초기화한다.
• 고정된 컨텍스트 윈도우 크기(기본값 10)를 사용하여 이전 단어들로 구성된 시퀀스에서 다음 단어 벡터를 예측하기 위해 GRU 기반 RNN을 훈련한다.
• 입력-출력 스킴이 한 타임스텝만큼 시프트된 방식을 사용하여, 외부 레이블 없이도 감독 학습이 가능하도록 한다.
• 손실 함수는 평균 제곱 오차(MSE)이며, RMSProp 최적화와 은닉층에 0.8 드롭아웃 정규화를 적용한다.
• 모델은 텍스트의 70%에서 훈련하고 30%에서 평가하며, 예측된 단어 벡터와 진짜 단어 벡터 간의 여론 거리로 오차를 측정한다.
• 일반 텍스트 외에도 ICTIR-2015 및 SIGIR-2015 프로ceedings에서 150만 토큰을 사용하여 도메인 특화 모델도 훈련하여 전문 텍스트에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 GRU 기반 RNN은 사전에 훈련된 GloVe 임베딩을 사용하여 다음 단어 벡터를 효과적으로 예측할 수 있는가?
• RQ2 일반 및 도메인 특화 텍스트에서 모델의 예측 오차는 무작위 기반 대비 어떻게 비교되는가?
• RQ3 은닉 유닛 수(30 vs. 300)가 훈련 시간과 예측 정확도에 미치는 영향은 무엇인가?
• RQ4 도메인 특화 코퍼스에서의 피니팅이 다음 단어 예측 성능에 미치는 영향은 무엇인가?
• RQ5 이 설정에서 훈련 및 추론의 계산 효율성 특성은 어떠한가?

주요 결과

• 300개의 GRU 유닛을 사용한 RNN 모델은 무작위 기반 대비 도메인 특화 텍스트에서 상당히 낮은 여론 거리 오차를 기록하였으며, 그림 3에서 이를 확인할 수 있다.
• 300개 은닉 유닛을 사용한 모델 훈련에 1298초(약 21.6분)가 소요되었고, 테스트 세트에서의 추론 시간은 단 0.49초였다.
• 도메인 특화 코퍼스에서 50개 은닉 유닛을 사용한 모델은 더 나은 성능을 보였으며, 오차 분포가 무작위 예측과 명확히 분리되어 있었다(그림 4).
• 도메인 특화 모델은 단 10초 만에 훈련되었고, 예측 생성 시간은 0.04초로, 전문 작업에 매우 효율적임을 보여주었다.
• 위키백과의 '아나키즘' 문서에서 30개 은닉 유닛을 사용한 모델는 300 에포크 후 안정된 성능을 보였으며, 훈련 시간은 125초였다.
• 사전에 훈련된 GloVe 임베딩을 사용함으로써 무작위 초기화 대비 예측 정확도가 크게 향상되었으며, 모든 그림에서 오차 분포의 이동을 통해 이를 입증할 수 있었다.