[論文レビュー] Cognitive Chunking for Soft Prompts: Accelerating Compressor Learning via Block-wise Causal Masking

Guojie Liu, Yiqi Wang+5 more|arXiv (Cornell University)|Feb 15, 2026

Topic Modeling被引用数 0

ひとこと要約

論文はParallelized Iterative Compression (PIC) を導入し、ブロック単位の因果マスクを用いてメモリトークンを連続的コンテキストチャンクに制約することで、ソフトプロンプト圧縮の効率と下流のQA/ICL性能を向上させ、特に高圧縮時にトレーニングを高速化します。

ABSTRACT

Providing extensive context via prompting is vital for leveraging the capabilities of Large Language Models (LLMs). However, lengthy contexts significantly increase inference latency, as the computational cost of self-attention grows quadratically with sequence length. To mitigate this issue, context compression-particularly soft prompt compressio-has emerged as a widely studied solution, which converts long contexts into shorter memory embeddings via a trained compressor. Existing methods typically compress the entire context indiscriminately into a set of memory tokens, requiring the compressor to capture global dependencies and necessitating extensive pre-training data to learn effective patterns. Inspired by the chunking mechanism in human working memory and empirical observations of the spatial specialization of memory embeddings relative to original tokens, we propose Parallelized Iterative Compression (PIC). By simply modifying the Transformer's attention mask, PIC explicitly restricts the receptive field of memory tokens to sequential local chunks, thereby lowering the difficulty of compressor training. Experiments across multiple downstream tasks demonstrate that PIC consistently outperforms competitive baselines, with superiority being particularly pronounced in high compression scenarios (e.g., achieving relative improvements of 29.8\% in F1 score and 40.7\% in EM score on QA tasks at the $64 imes$ compression ratio). Furthermore, PIC significantly expedites the training process. Specifically, when training the 16$ imes$ compressor, it surpasses the peak performance of the competitive baseline while effectively reducing the training time by approximately 40\%.

研究の動機と目的

• LLMの推論待機 latency を削減しつつ情報を保持するための文脈圧縮を動機づける。
• memory-context の相互作用と認知的チャンク化に類似した空間的特化の出現を調査する。
• 入力ブロックと整列するメモリトークンを学習可能でメモリ効率の良い圧縮パラダイムを提案する。
• ブロック単位の逐次制約を課しつつ並列処理を可能にする PIC を開発する。
• QAとICLタスクにおけるデータ効率の高いトレーニングと下流性能の改善を実証する。

提案手法

• memory-context の相互作用を分析し、 memory embeddings の空間的特化を観察する。
• 各メモリトークンが特定の入力ブロックの情報にのみ注意を向ける逐次的ブロック単位整列を導入する。
• block-wise causal attention mask を備えた Parallelized Iterative Compression (PIC) を提案する。
• 入力系列 Z = [X, M] を構築し、 memory トークンが自分のチャンクと prior memory のみを参照する可視性ルールを課す。
• テキスト再構成とテキスト補完の目的で事前学習を行い、下流タスクで微調整する。
• RAG QA および ICL 設定で PCC variant を含む6つのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 シーケンシャルなブロック対コンテキストの整列を強制することは、ソフトプロンプト圧縮の学習難易度を低減できるか。
• RQ2 PIC は高圧縮時にグローバルな無拘束注意よりタスク関連情報をより良く保持するか。
• RQ3 ブロック単位マスキングはデータと時間の観点から圧縮機の訓練に適しているか。
• RQ4 PIC は 16x〜64x の圧縮比において下流のQAとICL性能にどのような影響を与えるか。

主な発見

• PIC は圧縮機の収束を加速し、事前学習の初期段段階で約1.1倍〜1.3倍の速度を示す。
• 高圧縮時（例：16×および64×）には、PIC がベースラインと比較してQA指標で相対的な利得を大きく生み出す。
• データ効率性の分析では、16×圧縮時にPIC がベースラインのピーク性能を約40%少ない学習時間で上回る。
• PIC はより直交的で有益な memory embeddings を生成し、メモリトークン間の冗長性と敵対的意味を低減する。
• RAG QA および ICL において、データが増加するにつれて PIC は堅牢な性能向上と学習安定性を示す。