[논문 리뷰] Single Headed Attention RNN: Stop Thinking With Your Head

Stephen Merity|arXiv (Cornell University)|2019. 11. 26.

Topic Modeling참고 문헌 17인용 수 62

한 줄 요약

논문은 SHA-RNN을 제시한다. 이는 단일 헤드의 주의력을 보강한 LSTM 모델로, 최소한의 하이퍼파라미터 튜닝으로 단일 GPU에서 enwik8에 대한 최첨단 바이트-레벨 언어 모델링에 접근하며 다수의 주의 헤드 필요성의 의의를 도전한다. 또한 토큰화 민감성 및 학습 효율성에 대한 실용적 고려사항을 논의한다.

ABSTRACT

The leading approaches in language modeling are all obsessed with TV shows of my youth - namely Transformers and Sesame Street. Transformers this, Transformers that, and over here a bonfire worth of GPU-TPU-neuromorphic wafer scale silicon. We opt for the lazy path of old and proven techniques with a fancy crypto inspired acronym: the Single Headed Attention RNN (SHA-RNN). The author's lone goal is to show that the entire field might have evolved a different direction if we had instead been obsessed with a slightly different acronym and slightly different result. We take a previously strong language model based only on boring LSTMs and get it to within a stone's throw of a stone's throw of state-of-the-art byte level language model results on enwik8. This work has undergone no intensive hyperparameter optimization and lived entirely on a commodity desktop machine that made the author's small studio apartment far too warm in the midst of a San Franciscan summer. The final results are achievable in plus or minus 24 hours on a single GPU as the author is impatient. The attention mechanism is also readily extended to large contexts with minimal computation. Take that Sesame Street.

연구 동기 및 목표

• 언어 모델링을 위한 비-트랜스포머 중심 아키텍처 탐색의 필요성과 자원이 제한된 LSTM 기반 접근 방식으로도 경쟁력 있는 결과를 보여주고자 함.
• LSTM과 통합된 간단하고 메모리 효율적인 주의 메커니즘(SHA-RNN)과 Boom 피드포워드 계층을 도입.
• 단일 주의 헤드가 대부분의 이득을 낼 수 있고, 메모리/계산 효율성으로 일반 소비자 하드웨어에서 빠른 학습이 가능함을 보여줌.
• 토큰화의 선택이 토큰화 방법에 따른 비교 가능성과 perplexity에 미치는 실용적 함의와 더 넓은 연구 방향에 미치는 시사점을 논의함.

제안 방법

• 임베딩 계층과 하나 이상의 SHA-RNN 계층(단일 주의 헤드 포함) 그리고 묶인 가중치를 갖는 소프트맥스 분류기를 결합하는 SHA-RNN 아키텍처를 제안함.
• 단일 헤드의 간단한 주의 메커니즘과 한 번만 기록되는 메모리(시간별 대규모 행렬 곱연산 없음)를 사용.
• 전통적인 다운-프로젝션 계층의 일부를 대체하는 계산적으로 효율적인 피드포워드 구성요소인 Boom 계층을 도입.
• 잔차 연결이 없는 네트워크의 수렴을 개선하기 위해 최소-신뢰 LAMB 옵티마이저의 버전을 적용.
• 바이트 수준 enwik8 실험에서 단어 수준 토큰화 및 WikiText 데이터셋과의 비교를讨论함.

실험 결과

연구 질문

• RQ1 단일 헤드의 주의 메커니즘이 LSTM 위에 위치하여 최소 튜닝으로 최첨단 바이트-레벨 언어 모델링에 접근하거나 이를 따라잡을 수 있는가?
• RQ2 주목(head) 수를 줄이는 것이 enwik8에서 성능 및 학습 효율성에 어떤 영향을 미치는가?
• RQ3 토큰화 체계의 선택이 perplexity와 모델 간 비교에 어떤 실질적 영향을 주는가?
• RQ4 훈련 안정성 및 성능에 기여하는 아키텍처 구성요소( Boom 계층, 과대 매개화된 정적 벡터 등)는 무엇인가?

주요 결과

• 단일 주의 헤드가 다중 헤드 구성에서 얻을 수 있는 이득에 거의 근접한 성능을 보인다.
• 단일 GPU에서 최소한의 하이퍼파라미터 튜닝으로 학습 시, described training 시간 범위 내에서 경쟁력 있는 결과를 얻을 수 있다(일부 설정에서 에포크 시간 약 1800초 수준).
• enwik8 실험에서 단일 헤드 SHA-LSTM이 효율성 측면에서 상당한 개선을 보였으며, 1-헤드 모델이 4-헤드 변형보다 더 빠르게 학습되었다(에포크당 약 30분 대 ~67분).
• Boom 계층은 전통적 다운-프로젝션 계층에 비해 매개변수 및 계산을 줄이면서도 강력한 성능을 제공한다.
• 토큰화 선택은 perplexity에 상당한 영향을 미칠 수 있으며, 토큰화의 공격 가능성과 토큰화가 다른 경우의 공정한 비교의 어려움을 강조한다.
• 본 연구는 Transformer를 넘어서는 모델 다양성을 유지해야 한다고 주장하며 SHA-RNN을 실행 가능한 대안이자 증류나 더 폭넓은 접근 가능성의 기초로 제시한다.