[논문 리뷰] Multi-cell LSTM Based Neural Language Model

Thomas Cherian, Akshay Badola외 1명|arXiv (Cornell University)|2018. 11. 15.

Topic Modeling참고 문헌 11인용 수 4

한 줄 요약

이 논문은 각 노드당 다수의 메모리 셀을 포함하여 표준 LSTM을 향상시키는 다중 셀 LSTM 아키텍처를 제안한다. 선택 전략(예: 최대값 또는 평균)을 사용해 단일 출력 값을 생성한다. 이 방법은 펜 트리뱅크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 수렴 속도가 빠르고 퍼플렉서티가 낮다.

ABSTRACT

Language models, being at the heart of many NLP problems, are always of great interest to researchers. Neural language models come with the advantage of distributed representations and long range contexts. With its particular dynamics that allow the cycling of information within the network, `Recurrent neural network' (RNN) becomes an ideal paradigm for neural language modeling. Long Short-Term Memory (LSTM) architecture solves the inadequacies of the standard RNN in modeling long-range contexts. In spite of a plethora of RNN variants, possibility to add multiple memory cells in LSTM nodes was seldom explored. Here we propose a multi-cell node architecture for LSTMs and study its applicability for neural language modeling. The proposed multi-cell LSTM language models outperform the state-of-the-art results on well-known Penn Treebank (PTB) setup.

연구 동기 및 목표

• 단일 LSTM 노드 내에서 다수의 메모리 셀을 활용해 장거리 맥락 모델링 성능을 향상시킬 잠재력을 탐색한다.
• 다수의 메모리 셀 값들을 하나의 출력으로 조합하기 위한 효과적인 선택 기법(예: 최대값 또는 평균)을 조사한다.
• 다양한 신경어휘모델링 작업, 특히 펜 트리뱅크 벤치마크에서 다중 셀 LSTM의 성능을 평가한다.
• 퍼플렉서티와 학습 효율성에 중점을 두고 제안된 모델을 최신 기술 수준의 LSTM 기반 언어 모델과 비교한다.
• 임bed딩 크기 및 히든 레이어 수와 같은 아키텍처 하이퍼파라미터가 모델 성능에 미치는 영향을 분석한다.

제안 방법

• 각 LSTM 유닛이 단일 셀이 아닌 다수의 메모리 셀을 포함하는 다중 셀 LSTM 노드 아키텍처를 제안한다.
• 다수의 메모리 셀 값들을 하나의 출력으로 조합하기 위해 선택 기법(예: 최대값 또는 평균)을 적용한다.
• 기존 프레임워크와의 호환성을 확보하기 위해 표준 RNN 동역학과 시간 역전파(BPTT)를 유지한다.
• 학습률 감소와 가중치 감소를 정규화 기법으로 사용하며, 최대 노름 정규화 실험 결과 유의미한 향상 없음.
• 히든 레이어 크기, 임베딩 차원, 레이어 수를 다양하게 설정하여 아키텍처 영향을 평가한다.
• 언어 모델링을 위해 교차 엔트로피 손실와 소프트맥스 출력 레이어를 사용하여 시퀀스의 다음 단어를 예측한다.

실험 결과

연구 질문

• RQ1 각 LSTM 노드당 다수의 메모리 셀을 통합할 경우 표준 단일 셀 LSTMs에 비해 언어 모델링 성능 향상이 가능한가?
• RQ2 다수의 메모리 셀 값 조합 시 최대값, 평균 또는 기타 전략 중 어떤 것이 가장 높은 성능을 낼 수 있는가?
• RQ3 노드당 메모리 셀 수가 펜 트리뱅크 데이터셋의 모델 수렴과 퍼플렉서티에 어떤 영향을 미치는가?
• RQ4 다양한 모델 크기(소형, 중형, 대형)와 하이퍼파라미터 설정에서 다중 셀 LSTM 아키텍처의 일반화 능력은 어떠한가?
• RQ5 Zaremba 등(2014)의 최신 기술 수준 모델보다 낮은 퍼플렉서티와 더 빠른 수렴 속도를 달성할 수 있는가?

주요 결과

• 다중 셀 LSTM 모델(MLSTM-LM)은 펜 트리뱅크 데이터셋에서 최신 기술 수준의 Zaremba 등(2014) 모델을 초월하여 두 히든 레이어 아키텍처로 테스트 퍼플렉서티 77.12를 기록했다.
• 최고 성능을 낸 모델(1500개 유닛과 1500차원 임베딩을 가진 대용량 MLSTM-LM)은 테스트 퍼플렉서티 77.12를 기록했으며, 기준 모델보다 유의미하게 낮았다.
• 모든 MLSTM-LM 모델은 Zaremba 등의 모델보다 빠른 수렴을 보였으며, 수렴이 약 30번째 에포크에 정점에 도달한 반면 기준 모델은 55번째 에포크에 도달했다.
• 최적의 성능은 두 히든 레이어에서 달성되었으며, 네 개의 히든 레이어로 증가할수록 성능이 저하되어 깊은 아키텍처에서 보다 효과적인 정규화 기법이 필요함을 시사했다.
• 임베딩 크기가 히든 유닛 수와 일치할 경우 성능이 가장 뛰어났으며(예: 1500유닛 모델에 1500차원 임베딩), 크기가 불일치할 경우 성능 저하가 발생했다.
• 최대 노름 정규화와 가중치 감소 모두 유의미한 향상 없이, 이 아키텍처에선 테스트 설정에서 한계가 있었음을 시사했다.