[논문 리뷰] Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling

Hakan Inan, Khashayar Khosravi외 1명|arXiv (Cornell University)|2016. 11. 04.

Topic Modeling참고 문헌 17인용 수 173

한 줄 요약

논문은 단어 임베딩 유사성 기반의 KL-발산 항을 cross-entropy에 보강하는 손실 프레임워크를 제안하고, 입력 임베딩을 출력 투영으로 재활용하는 것이 성능을 크게 향상시키고 매개변수를 줄일 수 있음을 보인다.

ABSTRACT

Recurrent neural networks have been very successful at predicting sequences of words in tasks such as language modeling. However, all such models are based on the conventional classification framework, where the model is trained against one-hot targets, and each word is represented both as an input and as an output in isolation. This causes inefficiencies in learning both in terms of utilizing all of the information and in terms of the number of parameters needed to train. We introduce a novel theoretical framework that facilitates better learning in language modeling, and show that our framework leads to tying together the input embedding and the output projection matrices, greatly reducing the number of trainable variables. Our framework leads to state of the art performance on the Penn Treebank with a variety of network models.

연구 동기 및 목표

• 표준 원-핫 타깃 언어 모델링 프레임워크에서 입력과 출력이 같은 공간에 있으나 학습은 분리되어 비효율적인 부분을 식별한다.
• 단어 임베딩 정보를 이용한 타깃 분포를 사용하는 cross-entropy 손실에 KL-발산 기반 보강을 도입한다.
• 입력 임베딩 매트릭스를 출력 투영으로 재사용하는 것을 이론적으로 정당화하고 경험적으로 검증하여 매개변수를 줄이면서도 성능을 유지한다.
• 네트워크 크기에 따라 Penn Treebank와 Wikitext-2에서 기존 RNNLM 보다 개선된 결과를 보여준다.

제안 방법

• 증가된 손실 J^tot = J + alpha J^aug 이고 J은 교차 엔트로피이며 J^aug는 온도 tau를 갖는 KL(ỹ || ŷ)이다.
• 네트워크 로짓으로부터 ŷ를 구성하고 임베딩 기반 유사성으로부터 ỹ를 구성한다: ŷ는 softmax(Wh_t / tau)이고 ỹ는 softmax(L^T u_t / tau)이며 여기서 u_t = L y*_t이다.
• 고온도 영역에서 W h_t ≈ L^T u_t를 보여 출력 투영이 임베딩 매트릭스와 정렬되도록 이론적으로 분석한다.
• 실용적 스킴으로 (i) W ≈ L^T를 설정하여 임베딩 매트릭스를 재사용하거나(b=0), (ii) 보강 손실과 결합하여 학습을 개선하는 방법을 제안한다.
• 두 데이터셋 PTB, Wikitext-2와 세 가지 모델 스케일(소형/중형/대형 LSTM)에서 변화도 드롭아웃 하이퍼파라미터로 실험한다.

실험 결과

연구 질문

• RQ1 임베딩 기반 KL 손실을 augment하는 것이 표준 벤치마크에서 언어 모델 성능을 향상시키는가?
• RQ2 입력 임베딩을 출력 투영과 공유(W ≈ L^T)하는 것이 매개변수를 줄이고 perplexity를 유지하거나 개선하는가?
• RQ3 보강(AL), 임베딩 재사용(RE), 그리고 이들 조합(REAL)이 데이터셋의 크기 및 모델 용량에 따라 어떻게 비교되는가?
• RQ4 PTB와 Wikitext-2 데이터셋에서 개선된 학습 메커니즘이 일관되게 작동하는가?

주요 결과

• 보강 손실과 임베딩 재사용 모두 PTB와 Wikitext-2에서 기준 VD-LSTM보다 우수하다.
• 보강 손실(AL)은 소형 네트워크에서 강력한 이득을 주며 PTB에서 대형 Wikitext-2보다 더 큰 이득을 준다.
• 임베딩 재사용(RE)은 특히 대형 네트워크에서 상당한 개선을 제공하고 매개변수 감소의 큰 부분을 차지한다.
• 조합(REAL)은 전반적으로 최상의 perplexities를 달성하며 종종 PTB에서 이전의 최첨단 결과를 상회한다.
• 제안된 프레임워크가 L^T와 W 사이의 부분공간 거리를 줄이는 것을 실증적으로 보여 임베딩 재사용에 대한 이론적 정당성을 뒷받침한다.
• 정성적 분석에서 제안된 프레임워크를 사용할 때 타깃 단어 확률이 더 정확해지고 </unk>와 같은 불필요한 예측이 더 적다는 것을 시사한다.