[논문 리뷰] Frustratingly Short Attention Spans in Neural Language Modeling

Michał Daniluk, Tim Rocktäschel외 2명|arXiv (Cornell University)|2017. 02. 15.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 신경망 언어 모델에서 예측, 기억 키 설정, 값 검색을 위한 출력 표현을 분리함으로써 퍼즐러피티를 크게 향상시킨 키-값-예측 어텐션 메커니즘을 제안한다. 놀랍게도 이 모델은 주로 최근 다섯 개의 토큰 표현에 의존하며, 단순한 병합 기반 백업 모델이 복잡한 어텐션 메커니즘을 능가하거나 그에 못지않게 성능을 내는 것으로 나타났다.

ABSTRACT

Neural language models predict the next token using a latent representation of the immediate token history. Recently, various methods for augmenting neural language models with an attention mechanism over a differentiable memory have been proposed. For predicting the next token, these models query information from a memory of the recent history which can facilitate learning mid- and long-range dependencies. However, conventional attention mechanisms used in memory-augmented neural language models produce a single output vector per time step. This vector is used both for predicting the next token as well as for the key and value of a differentiable memory of a token history. In this paper, we propose a neural language model with a key-value attention mechanism that outputs separate representations for the key and value of a differentiable memory, as well as for encoding the next-word distribution. This model outperforms existing memory-augmented neural language models on two corpora. Yet, we found that our method mainly utilizes a memory of the five most recent output representations. This led to the unexpected main finding that a much simpler model based only on the concatenation of recent output representations from previous time steps is on par with more sophisticated memory-augmented neural language models.

연구 동기 및 목표

• 출력 표현의 역할을 명시적으로 분리하여 장거리 의존성을 활용하는 데 어려움을 해결하기 위해 신경망 언어 모델을 훈련시키는 데 기여하고자 한다.
• 어텐션 메커니즘에서 예측, 키, 값 기능을 분리함으로써 표준 어텐션 메커니즘 대비 성능 향상 여부를 조사하고자 한다.
• 최근 출력 병합 기반의 단순 모델이 더 복잡한 메모리 증강 아키텍처를 능가할 수 있는지 평가하고자 한다.
• 실제로 메모리 증강 신경망 언어 모델의 효과적인 어텐션 범위를 규명하고자 한다.

제안 방법

• 모델은 각 타임스텝에서 세 개의 별도된 벡터를 출력한다: 다음 단어를 예측하기 위한 것, 어텐션을 위한 키로 사용하기 위한 것, 그리고 메모리 검색을 위한 값으로 사용하기 위한 것.
• 어텐션 메커니즘은 현재 은닉 상태와 과거 메모리 키 간의 학습된 호환성 함수를 사용하여 컨텍스트 벡터를 계산하며, 어텐션 점수에 따라 가중치를 적용한다.
• 최근 L개의 출력 표현을 유지하는 슬라이딩 윈도우를 사용하여 미분 가능한 메모리로 활용하며, 이 윈도우를 기반으로 어텐션을 계산한다.
• 키-값-예측 메커니즘은 출력을 세 가지 구성요소로 분리함으로써 개별 벡터의 功能 과부하를 줄인다.
• 어텐션 또는 메모리 구성요소 없이 최근 세 개의 출력 표현을 병합하는 단순한 백업 모델을 도입한다.
• 와이키피디아 및 어린이 책 테스트(CBT) 코퍼스를 대상으로 실험하여 다양한 모델 간의 퍼즐러피티와 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 어텐션 메커니즘에서 예측, 키, 값 기능을 분리함으로써 신경망 언어 모델의 성능 향상 여부는 어떠한가?
• RQ2 실제로 메모리 증강 신경망 언어 모델은 장거리 의존성을 얼마나 효과적으로 포착하는가?
• RQ3 최근 출력 표현을 병합하는 단순한 모델이 더 복잡한 어텐션 기반 아키텍처를 능가할 수 있는가?
• RQ4 최첨단 메모리 증강 언어 모델의 효과적인 어텐션 범위는 무엇인가?

주요 결과

• 와이키피디아 코퍼스에서 키-값-예측 모델은 일반적인 LSTMs 대비 9.4점, RM(+tM-g) 모델 대비 4.3점의 퍼즐러피티 향상을 보였다.
• CBT 데이터셋에서 키-값-예측 모델은 동사 예측 정확도를 1.0%p 향상시키고, 전치사 예측 정확도를 1.7%p 향상시켰다.
• 메모리 윈도우를 기반으로 어텐션을 수행하고 있음에도 불구하고, 모든 어텐션 기반 모델은 주로 최근 다섯 개의 표현에만 집중함을 확인하여 짧은 효과적인 어텐션 범위를 보였다.
• 최근 세 개의 출력 표현을 병합하는 단순한 $4$-그램 RNN 모델은 더 복잡한 키-값-예측 모델과 비교해도 퍼즐러피티가 유사하거나 뛰어나게 성능을 내었다.
• 어텐션 윈도우 크기를 늘려도 성능 향상이 유의미하게 나타나지 않아 현재 아키텍처에서 장거리 메모리의 유용성이 제한적임을 시사한다.
• 결과적으로, 어텐션 메커니즘을 사용하더라도 장거리 의존성을 효과적으로 활용하도록 신경망 언어 모델을 훈련시키는 것은 여전히 매우 어려운 과제임을 시사한다.