[論文レビュー] Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
Infini-attentionを導入し、メモリ拡張付きのアテンション機構を用いて、Transformer LLMが境界付きのメモリと計算で無限に長い入力を処理できるようにする。長文-contextベンチマークと超長文タスクで実証される。
This work introduces an efficient method to scale Transformer-based Large Language Models (LLMs) to infinitely long inputs with bounded memory and computation. A key component in our proposed approach is a new attention technique dubbed Infini-attention. The Infini-attention incorporates a compressive memory into the vanilla attention mechanism and builds in both masked local attention and long-term linear attention mechanisms in a single Transformer block. We demonstrate the effectiveness of our approach on long-context language modeling benchmarks, 1M sequence length passkey context block retrieval and 500K length book summarization tasks with 1B and 8B LLMs. Our approach introduces minimal bounded memory parameters and enables fast streaming inference for LLMs.
研究の動機と目的
- Transformer LLMの境界付きリソースでの長文コンテキスト処理のスケーラビリティを動機づける。
- 長期コンテキストを保持するためにアテンションに圧縮型メモリを注入するInfini-attentionを提案する。
- 最小限のアーキテクチャ変更でプラグアンドプレイの継続的事前学習と長文コンテクスト適応を示す。
- 超長文言語モデルと長文コンテスト(長さ1Mまで)および書籍要約で効果を実証する。
提案手法
- Infini-attentionを導入し、局所的因果的アテンションと長期圧縮メモリを組み合わせる。
- ドット積アテンションからQ, K, Vの状態を再利用して連想メモリMと正規化項zを構築する。
- 記憶を連想結合ルールとオプションのデルタ改良で更新し、学習を安定化させる。
- 局所コンテキストと記憶由来コンテキストを、頭ごとに学習可能なゲーティングスカラーで集約して出力を形成する。
- 頭ごとの一定のメモリフットプリントと層ごとのメモリを提供し、無限コンテキストのストリーミング推論を可能にする。
- Infini-transformersをTransformer-XLおよびMemorizing Transformersと、メモリ効率と文脈長の観点で比較する。
実験結果
リサーチクエスチョン
- RQ1Infini-attentionは境界付きメモリと計算量で無限に長い文脈ウィンドウをサポートできるか?
- RQ2従来のセグメントベースのメモリモデルと比較して、長文コンテキスト言語モデリングにおけるInfini-attentionの性能はどうか?
- RQ3非常に長い入力へスケールする際のメモリ効率のトレードオフと学習ダイナミクスは?
- RQ4長文適応の継続的事前学習でInfini-transformersは困惑度と下流タスク性能を維持または改善できるか?
主な発見
- Infini-attentionはPG19およびArxiv-mathでTransformer-XLおよびMemorizing Transformersを上回る困惑度を示し、114xのメモリ圧縮利点を得る。
- 5K長入力でファインチューニングした後、1BモデルのInfini-attentionは1M長のパスキーレトリーブを解く。
- 8BモデルのInfini-attentionは継続的事前学習とタスク微調整後、500K長のBookSumで新たなSOTAを達成。
- ゲーティング分析により、局所対記憶検索の専門ヘッドと長・短距離情報のバランスをとるミキサーヘッドが明らかになる。
- Infini-transformersはKV結合・z・各ヘッドの固定メモリを伴う無限の文脈を、ベースラインを上回って実現する。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。