[논문 리뷰] Adaptive Input Representations for Neural Language Modeling

Alexei Baevski, Michael Auli|arXiv (Cornell University)|2018. 09. 28.

Topic Modeling참고 문헌 29인용 수 55

한 줄 요약

요약: 이 논문은 적응형 소프트맥스(adaptive softmax)를 입력 표현으로 확장한 적응형 입력 임베딩(adaptive input embeddings)을 도입하여 Wikitext-103 및 Billion Word 벤치마크에서 더 빠른 학습과 더 나은 perplexity를 보여준다.

ABSTRACT

We introduce adaptive input representations for neural language modeling which extend the adaptive softmax of Grave et al. (2017) to input representations of variable capacity. There are several choices on how to factorize the input and output layers, and whether to model words, characters or sub-word units. We perform a systematic comparison of popular choices for a self-attentional architecture. Our experiments show that models equipped with adaptive embeddings are more than twice as fast to train than the popular character input CNN while having a lower number of parameters. On the WikiText-103 benchmark we achieve 18.7 perplexity, an improvement of 10.5 perplexity compared to the previously best published result and on the Billion Word benchmark, we achieve 23.02 perplexity.

연구 동기 및 목표

• 단어 빈도에 따라 입력 임베딩 용량을 조정함으로써 과적합 및 파라미터 수를 줄이는 동기를 제시한다.
• 어휘를 빈도 기반 클러스터로 분할하고 클러스터별 차원을 할당하여 모델 입력으로 투영하기 전에 공통 차원으로 투영하는 적응형 입력 임베딩을 제안하고 구현한다.
• 단어, 부분어(subword), 문자(character) 기반 입력/출력 사실화를 자기 주의 아키텍처에서 비교한다.
• Wikitext-103 및 Billion Word 데이터셋에서 학습 효율성과 perplexity 개선을 평가한다.]
• method_1_
• method_2_
• method_3_
• method_4_
• method_5_
• method_6_

제안 방법

• 입력 표현에 가변 용량을 가진 적응형 소프트맥스를 확장한다.
• 입력을 어휘를 빈도 기반 클러스터로 분할하고 클러스터별 임베딩 차원을 할당하여 공통 차원으로 투영한다.
• 추가로 파라미터 절감을 위해 입력 임베딩과 출력 임베딩을 적응형 소프트맥스에서 묶을 수 있다.
• 트랜스포머 스타일 디코더에서 다양한 구성에서 단어-, 부분어-, 문자 기반 입력을 체계적으로 비교한다.
• 네스테로프 모멘텀, 코사인 학습률 스케줄, 분산 다중 GPU 구성으로 학습한다; 적응형 소프트맥스의 꼬리 사영에 드롭아웃 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 적응형 입력 임베딩이 고정 크기의 임베딩 및 문자 기반 입력에 비해 언어 모델의 성능과 학습 속도를 개선하는가?
• RQ2 다양한 입력/출력 사실화(단어, 부분어, 문자)가 perplexity 및 파라미터 효율성에 어떤 영향을 미치는가?
• RQ3 적응형 설정에서 입력 임베딩과 출력 임베딩을 묶는 것이 성능과 파라미터 수에 어떤 영향을 주는가?
• RQ4 희귀 단어 vs 빈번한 단어 처리 및 정규화가 모델 정확도에 어떤 영향을 주는가?
• RQ5 대규모 모델의 perplexity에 context 크기와 학습 블록 크기가 주는 효과는 무엇인가?

주요 결과

• 적응형 소프트맥스와 함께 사용할 때 적응형 입력 임베딩은 입력/출력 파라미터 수를 최대 61%까지 감소시킨다.
• 적응형 입력은 문자 입력 CNN 베이스라인보다 두 배 이상 더 빠르게 학습하면서도 더 높은 정확도를 달성한다.
• Wikitext-103에서 최적 모델은 18.7 perplexity를 달성하여 이전 최고치 대비 10.5 perplexity를 향상시킨다.
• Billion Word에서 최적 모델은 23.02 perplexity를 달성하여 이전 결과에 비해 큰 향상을 보인다.
• ADP-T(입력과 출력의 적응형 묶음)는 압축된 부분어 모델과 비슷한 학습 속도에서 최고 정확도에 도달한다.
• 희귀 단어의 Regularization은 Wikitext-103에서 Adaptive Softmax 성능을 향상시킨다.