[논문 리뷰] Improving Neural Language Models with a Continuous Cache

Édouard Grave, Armand Joulin외 1명|arXiv (Cornell University)|2016. 12. 13.

Topic Modeling인용 수 98

한 줄 요약

이 논문은 과거 은닉 상태의 경량 지속 캐시를 신경 언어 모델에 추가하여 retraining 없이 최근 맥락에 온라인으로 적응하도록 하고, LAMBADA를 포함한 여러 데이터셋에서 당혹도(perplexity)를 크게 개선하는 것을 보인다.

ABSTRACT

We propose an extension to neural network language models to adapt their prediction to the recent history. Our model is a simplified version of memory augmented networks, which stores past hidden activations as memory and accesses them through a dot product with the current hidden activation. This mechanism is very efficient and scales to very large memory sizes. We also draw a link between the use of external memory in neural network and cache models used with count based language models. We demonstrate on several language model datasets that our approach performs significantly better than recent memory augmented networks.

연구 동기 및 목표

• Dynamic contexts에서 최근 이력에 맞춰 신경 언어 모델을 적응시켜야 하는 필요성에 동기를 부여한다.
• 과거 은닉 활성화와 그에 따른 예측을 점곱 매칭으로 검색하는 경량 신경 캐시를 제안한다.
• 사전 학습된 LM 위에 캐시를 추가하는데 비용이 거의 없고 메모리 트랜스포머 학습이 필요하지 않음을 보여준다.
• 다양한 언어 모델링 벤치마크에서 접근법을 평가하여 perplexity 개선을 정량화한다.

제안 방법

• 최근 은닉 상태 h_i와 대응하는 다음 단어 x_{i+1}를 메모리 엔트리(h_i, x_{i+1})로 저장한다.
• 저장된 키 h_i에 대해 p_cache(w | h_{1..t}, x_{1..t})를 점곱 기반의 조회로 계산하고, 샤프함을 제어하는 온도 유사 매개변수 theta를 사용한다.
• 최종 예측을 p(w|h_{1..t},x_{1..t}) = (1-λ)p_vocab(w|h_t) + λ p_cache(w|h_{1..t},x_{1..t})의 선형 보간 또는 어휘 및 캐시 항목에 대한 글로벌 소프트맥스와 알파로 캐시 가중치를 제어하는 방식 중 하나로 정의한다.
• 기본 순환 LM은 일반적으로 학습하고, 테스트 시에만 캐시를 적용하며, 검증 데이터에서 theta와 alpha/λ를 튜닝한다.

실험 결과

연구 질문

• RQ1 연속 신경 캐시를 재학습 없이 사전 학습된 신경 LM에 추가했을 때 단어 예측이 개선되는가?
• RQ2 캐시 크기가 데이터셋의 크기에 따라 perplexity에 어떤 영향을 미치는가?
• RQ3 캐시와 기본 LM 예측을 결합하는 방법으로 선형 보간이 글로벌 정규화에 비해 어떤 차이가 있는가?
• RQ4 대규모 캐시(수천 개의 엔트리)를 계산 비용을 거의 증가시키지 않는 방식으로 실용적으로 사용할 수 있는가?

주요 결과

• 신경 캐시는 다양한 데이터셋에서 베이스라인 및 메모리 증가 네트워크 대비 perplexity를 개선한다.
• Penn Tree Bank에서 신경 캐시를 사용한 선형 보간은 테스트 perplexity가 72.1로, 베이스 86.9 및 다른 방법으로 더 나은 74.6의 최적 보간보다 좋다.
• wikitext2에서 신경 캐시는 크기 100에서 81.6, 크기 2,000에서 68.9의 perplexity를 달성하며, 베이스 LSTM 및 더 작은 캐시를 능가한다.
• wikitext103에서 대형 캐시 크기를 가진 신경 캐시의 perplexity가 40.8(크기 2,000)이다.
• Lambada 데이터셋에서 신경 캐시는 LSTM 베이스라인에 비해 성능을 크게 개선하며, 개발 데이터 perplexity는 약 138, 컨트롤 perplexity는 신경 캐시 모델에서 약 129이다.
• 캐시 접근 방식은 수천 개의 메모리 셀에 대해 계산 오버헤드를 거의 증가시키지 않으면서 확장 가능하며, 사전 학습된 모델 위에 미세 조정 없이도 적용될 수 있다.