[논문 리뷰] Not All Memories are Created Equal: Learning to Forget by Expiring

Sainbayar Sukhbaatar, Da Young Ju외 5명|arXiv (Cornell University)|2021. 05. 13.

Topic Modeling참고 문헌 47인용 수 5

한 줄 요약

이 논문은 장기적인 시퀀스에서 불필요한 기억을 자동으로 지우는 기계적 메커니즘인 Expire-Span을 제안한다. 이는 수천 개의 타임스텝에 걸쳐 효율적인 어텐션을 가능하게 하며, 낮은 중요도의 콘텐츠를 동적으로 지우므로, 문자 수준의 언어 모델링 및 프레임 단위 객체 추적과 같은 장기적 컨텍스트 작업에서 최신 기술 성능을 달성한다. 기존 방법보다 훈련 속도가 3배 빠르고 메모리 사용량도 적다.

ABSTRACT

Attention mechanisms have shown promising results in sequence modeling tasks that require long-term memory. Recent work investigated mechanisms to reduce the computational cost of preserving and storing memories. However, not all content in the past is equally important to remember. We propose Expire-Span, a method that learns to retain the most important information and expire the irrelevant information. This forgetting of memories enables Transformers to scale to attend over tens of thousands of previous timesteps efficiently, as not all states from previous timesteps are preserved. We demonstrate that Expire-Span can help models identify and retain critical information and show it can achieve strong performance on reinforcement learning tasks specifically designed to challenge this functionality. Next, we show that Expire-Span can scale to memories that are tens of thousands in size, setting a new state of the art on incredibly long context tasks such as character-level language modeling and a frame-by-frame moving objects task. Finally, we analyze the efficiency of Expire-Span compared to existing approaches and demonstrate that it trains faster and uses less memory.

연구 동기 및 목표

• 모든 과거 정보를 저장하는 방식으로 인해 장기적 컨텍스트 트랜스포머의 효율성과 확장성에 한계가 존재하는 문제를 해결하기 위해.
• 모델이 불필요한 기억을 선택적으로 지우도록 하여 인간 기억의 중요 정보 우선 처리 능력을 모방하기 위해.
• 고정된 압축 또는 어텐션 범위가 아닌 동적 기억 지우기 메커니즘을 학습함으로써 장기적 컨텍스트 작업에서 성능을 향상시키기 위해.
• 성능 저하 없이 장기적 시퀀스 모델링에서 계산 및 메모리 오버헤드를 줄이기 위해.

제안 방법

• 각 히든 상태에 대해 유지 기간을 출력하는 학습 가능한 만료 예측기로 자기 어텐션을 보완한다.
• 각 메모리는 만료 기간이 끝나면 지워지며, 이 과정은 엔드 투 엔드 백프로파게이션을 위해 미분 가능하다.
• 만료 과정은 각 레이어별로 독립적으로 적용되며, 서로 다른 시간 스케일의 기억 유지에 각 레이어가 특화되도록 한다.
• 불필요한 정보를 조기에 제거함으로써 수천 개의 타임스텝에 걸쳐 효율적인 어텐션을 가능하게 한다.
• 모델은 크로스 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 만료 메커니즘은 어텐션 계산에 통합된다.
• 이 방법은 압축 없이도 고정된 어텐션 패턴 없이 디코더 전용 트랜스포머에 적용되어 확장 가능한 장기적 컨텍스트 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 기억 지우기 메커니즘이 장기적 시퀀스 모델링 작업에서 성능 향상에 기여할 수 있는가?
• RQ2 고정된 범위 또는 압축된 기억 방법과 비교해 동적 기억 지우기가 훈련 효율성과 메모리 사용에 어떤 영향을 미치는가?
• RQ3 모델은 명시적 실체와 같은 중요한 정보를 유지하면서 일반적이거나 불필요한 콘텐츠는 빠르게 지울 수 있는가?
• RQ4 장기 기억 용량이 장기적 컨텍스트 벤치마크에서 예측 정확도에 어느 정도 영향을 미치는가?
• RQ5 기억을 지우는 능력 덕분에 계산 비용 폭증 없이 더 긴 컨텍스트 길이로 확장이 가능한가?

주요 결과

• Expire-Span은 Enwik8 문자 수준 언어 모델링 벤치마크에서 Compressive Transformer 및 Adaptive-Span 기준선을 능가하는 최신 기술 성능을 달성했다.
• Expire-Span은 Compressive Transformer 및 Adaptive-Span보다 거의 3배 빠른 훈련 속도를 기록했으며, 더 높은 정확도를 유지했다.
• 최대 범위 64k를 적용했을 때 Expire-Span은 성공적으로 훈련되었고 GPU 메모리 오버플로우를 피했지만, Adaptive-Span은 32k에서 실패했다.
• 모델은 'Egypt'나 'Humpty Dumpty'와 같은 드문 또는 중요한 실체를 오랫동안 유지하는가 하면, '어디선가'와 같은 일반적인 용어는 빠르게 지워지는 것을 학습했다.
• 추론 범위를 16k에서 1k로 줄였을 때, 3,584 토큰 전에 언급된 'Guinea coast'와 같은 장거리 예측에서 정확도가 크게 떨어졌다.
• 분석 결과, 섹션 제목이나 줄 바꿈과 같은 구조적 요소가 더 오래 유지되는 것으로 나타나, 각 레이어가 기억 사용에 있어 특화된 전략을 가진 것으로 보였다.