[논문 리뷰] Pointer Sentinel Mixture Models

Stephen Merity, Caiming Xiong외 2명|arXiv (Cornell University)|2016. 09. 26.

Natural Language Processing Techniques참고 문헌 17인용 수 481

한 줄 요약

이 논문은 소프트맥스 어휘 예측과 최근 컨텍스트에서의 복사를 위한 포인터 메커니즘을 결합한 하이브리드 포인터-센티넬 혼합 모델을 제시합니다. 이 모델은 더 적은 파라미터로 Penn Treebank에서 최첨단 perplexity를 달성하고, WikiText를 새로운 더 긴 컨텍스트 언어 모델링 벤치마크로 도입합니다.

ABSTRACT

Recent neural network sequence models with softmax classifiers have achieved their best language modeling performance only with very large hidden states and large vocabularies. Even then they struggle to predict rare or unseen words even if the context makes the prediction unambiguous. We introduce the pointer sentinel mixture architecture for neural sequence models which has the ability to either reproduce a word from the recent context or produce a word from a standard softmax classifier. Our pointer sentinel-LSTM model achieves state of the art language modeling performance on the Penn Treebank (70.9 perplexity) while using far fewer parameters than a standard softmax LSTM. In order to evaluate how well language models can exploit longer contexts and deal with more realistic vocabularies and larger corpora we also introduce the freely available WikiText corpus.

연구 동기 및 목표

• 언어 모델이 제한된 은닉 상태 용량으로 희귀하거나 보지 못한 단어를 예측하는 어려움을 동기부여하고 해결합니다.
• 소프트맥스 어휘에서 단어를 내보내거나 포인터 네트워크를 통해 최근 맥락에서 단어를 복사할 수 있는 혼합 아키텍처를 제안합니다.
• 포인터와 소프트맥스 구성요소를 게이트 g를 통해 결합하는 센티넬 기반 게이팅 메커니즘을 소개합니다.
• 긴 범위 의존성과 현실적 어휘를 평가하기 위해 새로운 대형 언어 모델링 데이터셋(WikiText)을 공유합니다.
• 동등한 모델과 비교하여 파라미터 수를 줄이면서 Penn Treebank에서 상태-최첨단 perplexity를 달성합니다.

제안 방법

• 표준 단어 예측을 위한 softmax-RNN 구성요소를 정의합니다.
• 과거 은닉 상태 창(window)에 대한 어텐션을 사용해 입력에서 단어를 복사하는 포인터 네트워크 구성요소를 개발합니다.
• 게이트 g로 포인터와 소프트맥스 예측을 결합하는 포인터 센티넬 혼합을 만들고, g는 센티널 항을 포함하는 보강된 어텐션 벡터에서 도출됩니다.
• 포인터가 다음 단어를 자신 있게 예측하지 못할 때 소프트맥스로 백오프할 수 있도록 어텐션에 센티널 값을 도입합니다.
• 혼합에 적응된 교차 엔트로피 손실로 학습하고, 시간 역전(backpropagation through time) 동안 포인터 창 내에서 오래된 RNN 출력을 재생성합니다.
• Penn Treebank 및 WikiText 데이터셋에서 평가하고, 이전 LSTM 기반 언어 모델과의 상세한 비교를 수행합니다.

실험 결과

연구 질문

• RQ1 포인터 메커니즘과 전통적인 소프트맥스 출력의 하이브리드 모델이 특히 희귀하거나 OoV 단어를 다룰 때 언어 모델링을 개선할 수 있는가?
• RQ2 센티넬 기반 게이팅 메커니즘의 통합이 파라미터 공유를 가능하게 하고 포인터와 소프트맥스 구성요소 간 의사결정을 개선하는가?
• RQ3 포인터 센티넬 혼합은 WikiText와 같은 더 긴 컨텍스트 데이터셋에서 표준 LSTM과 비교하여 어떤 성능을 보이는가?
• RQ4 포인터 윈도우 길이 L 그리고 학습 전략(BPTT)이 장기 의존성 학습에 어떤 영향을 미치는가?

주요 결과

Model	Parameters	Validation	Test
Mikolov & Zweig (2012) - KN-5	2M ‡	-	141.2
Mikolov & Zweig (2012) - KN5 + cache	2M ‡	-	125.7
Mikolov & Zweig (2012) - RNN	6M ‡	-	124.7
Mikolov & Zweig (2012) - RNN-LDA	7M ‡	-	113.7
Mikolov & Zweig (2012) - RNN-LDA + KN-5 + cache	9M ‡	-	92.0
Pascanu et al. (2013a) - Deep RNN	6M	-	107.5
Cheng et al. (2014) - Sum-Prod Net	5M ‡	-	100.0
Zaremba et al. (2014) - LSTM (medium)	20M	86.2	82.7
Zaremba et al. (2014) - LSTM (large)	66M	82.2	78.4
Gal (2015) - Variational LSTM (medium, untied)	20M	81.9±0.2	79.7±0.1
Gal (2015) - Variational LSTM (medium, untied, MC)	20M	-	78.6±0.1
Gal (2015) - Variational LSTM (large, untied)	66M	77.9±0.3	75.2±0.2
Gal (2015) - Variational LSTM (large, untied, MC)	66M	-	73.4±0.0
Kim et al. (2016) - CharCNN	19M	-	78.9
Zilly et al. (2016) - Variational RHN	32M	72.8	71.3
Zoneout + Variational LSTM (medium)	20M	84.4	80.6
Pointer Sentinel-LSTM (medium)	21M	72.4	70.9

• 포인터 센티넬-LSTM은 파라미터 수를 대폭 줄이면서 Penn Treebank에서 최첨단 perplexity(70.9)를 달성합니다.
• Penn Treebank에서 중간 포인터 센티넬-LSTM이 대형 LSTM 변형보다 더 좋은 성능을 보이면서도 대략 1/3의 파라미터를 사용합니다.
• WikiText-2에서 포인터 센티넬-LSTM은 변분적 LSTM 베이스라인보다 현저히 우수합니다(검증 perplexity 84.8 대 101.7; 테스트 perplexity 80.8 대 96.3).
• 단어 빈도수가 감소함에 따라 포인터 구성요소가 최근 맥락에서 단어를 복사하도록 함으로써 희귀 단어를 더 잘 처리합니다.
• 센티넬 기반 게이팅은 포인터가 단어를 자신 있게 매칭하지 못할 때 소프트맥스로 효과적으로 백오프하도록 하여 강건성과 성능을 향상합니다.