[논문 리뷰] Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
Infini-attention 소개, Transformer LLM이 메모리와 계산이 바운드된 상태에서 무한히 긴 입력을 처리하게 하는 메모리 보강 어텐션 메커니즘으로, 긴 맥락 벤치마크 및 초-긴 작업에서 시연.
This work introduces an efficient method to scale Transformer-based Large Language Models (LLMs) to infinitely long inputs with bounded memory and computation. A key component in our proposed approach is a new attention technique dubbed Infini-attention. The Infini-attention incorporates a compressive memory into the vanilla attention mechanism and builds in both masked local attention and long-term linear attention mechanisms in a single Transformer block. We demonstrate the effectiveness of our approach on long-context language modeling benchmarks, 1M sequence length passkey context block retrieval and 500K length book summarization tasks with 1B and 8B LLMs. Our approach introduces minimal bounded memory parameters and enables fast streaming inference for LLMs.
연구 동기 및 목표
- 제한된 자원으로 Transformer LLM의 확장 가능한 장문 컨텍스트 처리를 동기 부여한다.
- 장기 맥락을 유지하기 위해 어텐션에 압축 메모리를 주입하는 Infini-attention를 제안한다.
- 거의 구조적 변화 없이 플러그앤플레이 방식의 지속적 사전학습 및 장문 컨텍스트 적응을 보여준다.
- 초-장문 언어 모델링 및 장문 컨텍스트 작업(길이 최대 1M)과 책 요약에서 효능을 시연한다.
제안 방법
- 로컬 인과 어텐션과 장기 압축 메모리를 결합한 Infini-attention을 도입한다.
- 점곱 어텐션의 Q, K, V 상태를 재사용하여 연상 메모리 M과 정규화 항 z를 구축한다.
- 학습 안정화를 위해 연상 바인딩 규칙과 선택적 델타 정제를 사용해 메모리를 업데이트한다.
- 학습된 게이팅 스칼라를 각 헤드별로 이용해 로컬 컨텍스트와 메모리 유래 컨텍스트를 집계하여 출력을 형성한다.
- 헤드와 계층당 일정한 메모리 점유를 제공하여 무한 컨텍스트에 대한 스트리밍 추론을 가능하게 한다.
- 메모리 효율성과 컨텍스트 길이 측면에서 Infini-transformers를 Transformer-XL 및 Memorizing Transformers와 비교한다.
실험 결과
연구 질문
- RQ1Infini-attention이 유한한 메모리와 계산으로 무한히 긴 컨텍스트 창을 지원할 수 있는가?
- RQ2기존 세그먼트 기반 메모리 모델과 비교하여 긴 맥락 언어 모델링에서 Infini-attention의 성능은 어떤가?
- RQ3매우 긴 입력으로 확장할 때 메모리 효율성의 트레이드오프와 학습 역학은 무엇인가?
- RQ4장문 컨텍스트 적대를 위한 지속적 사전학습에서 Infini-transformers가 perplexity와 다운스트림 작업 성능을 유지하거나 향상시킬 수 있는가?
주요 결과
- Infini-attention은 PG19와 Arxiv-math에서 Transformer-XL 및 Memorizing Transformers보다 더 나은 perplexity를 보이며 114x의 메모리 압축 이점을 가진다.
- Infini-attention을 가진 1B 모델이 5K 길이 입력으로 파인튜닝한 후 1M 길이의 패스키 검색을 해결한다.
- Infini-attention을 가진 8B 모델이 지속적 사전학습과 작업 파인튜닝 후 50만 길이 BookSum에서 새로운 SOTA를 달성한다.
- 게이팅 분석은 로컬 대 메모리 검색 전문 헤드와 긴-단 정보 균형을 잡는 믹서 헤드를 밝힌다.
- Infini-transformers는 KV 바인딩, z, 고정된 헤드당 메모리에 대해 무한 컨텍스트를 가능하게 하며 베이스라인보다 성능이 우수하다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.