[논문 리뷰] Dynamic Evaluation of Transformer Language Models

Ben Krause, Emmanuel Kahembwe외 2명|arXiv (Cornell University)|2019. 04. 17.

Topic Modeling참고 문헌 20인용 수 32

한 줄 요약

본 논문은 Transformer-XL 모델에 동적 평가를 적용하고 최근 시퀀스 이력에 적응함으로써 enwik8, text8, WikiText-103에서 최첨단 결과를 달성한다.

ABSTRACT

This research note combines two methods that have recently improved the state of the art in language modeling: Transformers and dynamic evaluation. Transformers use stacked layers of self-attention that allow them to capture long range dependencies in sequential data. Dynamic evaluation fits models to the recent sequence history, allowing them to assign higher probabilities to re-occurring sequential patterns. By applying dynamic evaluation to Transformer-XL models, we improve the state of the art on enwik8 from 0.99 to 0.94 bits/char, text8 from 1.08 to 1.04 bits/char, and WikiText-103 from 18.3 to 16.4 perplexity points.

연구 동기 및 목표

• 장기 의존성을 활용하기 위해 Transformer와 동적 평가의 결합을 모티브로 삼는다.
• 동적 평가가 Transformer-XL 모델에 추가 이점을 제공하는지 조사한다.
• 문자 수준 및 단어 수준 언어 모델링 벤치마크에서의 개선을 측정한다.
• 적응이 Transformer-XL의 메모리-증강 어텐션과의 상호 작용을 어떻게 하는지 분석한다.

제안 방법

• Transformer-XL에 대해 시퀀스-세그먼트 단위의 기울기 하강 기반 동적 평가를 적용한다.
• 두 가지 동적 평가 최적화 알고리즘을 비교한다: SGD 기반 동적 평가와 decay가 있는 RMSprop 유사 동적 평가.
• 동적 평가 세그먼트를 Transformer-XL의 메모리 세그먼트와 정렬하고 역전파를 단일 세그먼트로 잘라낸다.
• 테스트 전에 검증 세트에서 동적 평가 하이퍼파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 동적 평가를 Transformer-XL에 적용했을 때 정적 평가에서 얻는 것 이상으로 추가 이점을 제공하는가?
• RQ2 SGD 기반 동적 평가와 감쇠가 있는 RMS 기반 동적 평가가 장기 의존성 벤치마크에서 어떻게 비교되는가?
• RQ3 Transformer-XL을 사용할 때 enwik8, text8의 문자 수준 벤치마크와 WikiText-103의 단어 수준 벤치마크에 대한 동적 평가의 효과는 무엇인가?
• RQ4 적응이 Transformer-XL의 메모리/캐시 메커니즘과 어떻게 상호 작용하는가?

주요 결과

• 동적 평가는 enwik8에서 Transformer-XL의 비트/문자를 0.993에서 0.940로 개선한다(RMS 동적 평가 + decay).
• 동적 평가는 text8에서 Transformer-XL의 비트/문자를 1.085에서 1.038로 개선한다(RMS 동적 평가 + decay).
• 동적 평가는 WikiText-103에서 Transformer-XL의 perplexity를 18.1에서 16.4로 개선한다(RMS 동적 평가).
• 적응형 소프트맥스와 동적 평가가 테스트된 설정에서 단어 수준 perplexities를 최적으로 보고한 값으로 나타난다(16.4).
• 동적 평가의 개선은 존재하지만 더 약한 모델에서 얻은 이득보다 작아, Transformer-XL이 이미 다수의 재현 가능한 패턴을 포착하고 있음을 시사한다.