[논문 리뷰] An Analysis of Neural Language Modeling at Multiple Scales

Stephen Merity, Nitish Shirish Keskar외 1명|arXiv (Cornell University)|2018. 03. 22.

Topic Modeling참고 문헌 29인용 수 143

한 줄 요약

본 논문은 잘 조정된 LSTM 및 QRNN 기본 모델과 tied adaptive softmax가 문자 수준 및 단어 수준 언어 모델링에서 여러 규모에 걸쳐 최첨단 결과를 달성할 수 있으며, 하나의 현대 GPU에서 효율적으로 학습될 수 있음을 보여준다.

ABSTRACT

Many of the leading approaches in language modeling introduce novel, complex and specialized architectures. We take existing state-of-the-art word level language models based on LSTMs and QRNNs and extend them to both larger vocabularies as well as character-level granularity. When properly tuned, LSTMs and QRNNs achieve state-of-the-art results on character-level (Penn Treebank, enwik8) and word-level (WikiText-103) datasets, respectively. Results are obtained in only 12 hours (WikiText-103) to 2 days (enwik8) using a single modern GPU.

연구 동기 및 목표

• 대규모 언어 모델링 작업에서 잘 조정된 기본 모델이 복잡한 아키텍처와 경쟁할 수 있음을 제시한다.
• 상태-오브-더-아트의 워드-레벨 모델을 더 큰 어휘 수와 문자 수준 데이터까지 확장한다.
• 문자 및 단어 수준 작업에 대한 LSTM 대 QRNN 간의 트레이드오프를 분석한다.
• 실용적인 모델 튜닝을 안내하기 위한 하이퍼파라미터의 중요성을 조사한다.
• 공정한 비교를 위한 데이터셋 선택 및 평가 지표를 논의한다.

제안 방법

• 학습 가능한 임베딩 층, 쌓인 순환 층, 가중치를 묶은 소프트맥스 분류기를 갖춘 기본 모델 프레임워크를 사용한다.
• LSTM 및 QRNN 셀을 비교하고, GPU 활용도와 QRNN의 학습 속도 이점을 강조한다.
• 긴 잘라낸 BPTT 길이를 사용하여 장기 의존성을 포착하고 GPU 효율성을 향상시킨다.
• 가중치 묶음을 이용한 수정된 adaptive softmax를 채택하여 대규모 어휘를 효율적으로 처리한다.
• Penn Treebank(문자), enwik8(문자), 그리고 WikiText-103(단어 수준)에서 학습 및 평가를 수행한다.
• 랜덤 포레스트 기반 중요도 평가 및 민감도 연구를 포함한 하이퍼파라미터 분석을 수행한다.

실험 결과

연구 질문

• RQ1 표준 LSTM/QRNN 기본이 문자- 및 단어- 수준 언어 모델링에서 확장된 규모로 최첨단 결과를 달성할 수 있는가?
• RQ2 문자 수준 대 단어 수준 작업에서 LSTM과 QRNN은 어떻게 비교되며, 어떤 하이퍼파라미터가 성능에 가장 큰 영향을 미치는가?
• RQ3 더 긴 BPTT와 tied adaptive softmax가 대규모 어휘에서 학습 속도와 모델 정확도에 미치는 영향은 무엇인가?
• RQ4 일반적으로 사용되는 벤치마크(예: Penn Treebank)가 문자 수준 모델링에 적합한가, 데이터셋 선택이 결과에 어떻게 영향을 미치는가?
• RQ5 실무자들이 최소한의 튜닝 자원으로 강력한 성능을 달성하기 위해 하이퍼파라미터를 어떻게 조정해야 하는가?

주요 결과

• 잘 조정된 LSTM 및 QRNN 기본이 평가 데이터셋에서 경쟁력 있거나 최첨단의 perplexities/BPC를 달성한다.
• QRNN은 단어 수준 WikiText-103에서 LSTM에 비해 상당한 속도 이점을 제공하지만(학습 시간 및 배치 효율성), 데이터셋의 복잡성이 증가하면 현실적인 문자 수준 작업에서 저조할 수 있다.
• 더 긴 BPTT와 tied adaptive softmax의 활용은 지나치게 복잡한 아키텍처로 가지 않고도 큰 어휘를 효과적으로 관리하도록 도와준다.
• 하이퍼파라미터 중요도 분석은 드랍아웃 관련 하이퍼파라미터(가중치, 임베딩, 히든 드롭아웃)가 성능에 강한 영향을 미치는 반면, 임베딩 크기는 합리적 범위 내에서 상대적으로 영향이 적다고 나타난다.
• Penn Treebank 문자 수준 데이터는 문자 모델링에 적합하지 않다고 판단되며, 평가를 위해 enwik8과 같은 더 현실적인 데이터 세트의 필요성을 강조한다.
• 매개변수 수는 모델의 복잡성이나 하드웨어 요구 사항에 대한 신뢰할 수 있는 지표가 되지 않는다; 실제 효율성은 아키텍처 및 학습 역학에 따라 달라진다.