[論文レビュー] Qwen2.5-1M Technical Report

Yang An, B. X. Yu+26 more|ArXiv.org|Jan 26, 2025

Solidification and crystal growth phenomena被引用数 7

ひとこと要約

Qwen2.5-1M はコンテキスト長を1Mトークンに拡張し、長文脈の事前学習、後訓練、および長さ外挿、疎結合アテンション、システムレベルの最適化を備えたオープンソースの推論フレームワークを導入し、超長入力に対するプリフィルの大幅なスピードアップをもたらします。

ABSTRACT

We introduce Qwen2.5-1M, a series of models that extend the context length to 1 million tokens. Compared to the previous 128K version, the Qwen2.5-1M series have significantly enhanced long-context capabilities through long-context pre-training and post-training. Key techniques such as long data synthesis, progressive pre-training, and multi-stage supervised fine-tuning are employed to effectively enhance long-context performance while reducing training costs. To promote the use of long-context models among a broader user base, we present and open-source our inference framework. This framework includes a length extrapolation method that can expand the model context lengths by at least four times, or even more, without additional training. To reduce inference costs, we implement a sparse attention method along with chunked prefill optimization for deployment scenarios and a sparsity refinement method to improve precision. Additionally, we detail our optimizations in the inference engine, including kernel optimization, pipeline parallelism, and scheduling optimization, which significantly enhance overall inference performance. By leveraging our inference framework, the Qwen2.5-1M models achieve a remarkable 3x to 7x prefill speedup in scenarios with 1 million tokens of context. This framework provides an efficient and powerful solution for developing applications that require long-context processing using open-source models. The Qwen2.5-1M series currently includes the open-source models Qwen2.5-7B-Instruct-1M and Qwen2.5-14B-Instruct-1M, as well as the API-accessed model Qwen2.5-Turbo. Evaluations show that Qwen2.5-1M models have been greatly improved in long-context tasks without compromising performance in short-context scenarios. Specifically, the Qwen2.5-14B-Instruct-1M model significantly outperforms GPT-4o-mini in long-context tasks and supports contexts eight times longer.

研究の動機と目的

• LLM の128kトークンを超える長文脈処理を動機づけ、実現する。
• 長距離推論を改善しつつ短いコンテキスト性能を維持する、長文脈の事前訓練と後訓練の効率的な戦略を開発する。
• コストを削減しデプロイを加速するための長さ外挿、疎結合アテンション、エンジン最適化を備えたオープンソース推論フレームワークを提供する。

提案手法

• 長文脈の事前訓練に合成データと長距離学習ステップを用いて、長距離依存関係を改善する。
• 合成長指示データを用いたポスト訓練と、二段階の教師ありファインチューニングとオフライン強化学習。
• 長さ外挿（Dual Chunk Attention と YaRN アテンションスケーリングを介して）、MInference による疎結合アテンション、チャンク化プリフィル最適化を特徴とするオープンソース推論フレームワーク。エンジン最適化にはカーネル、パイプライン、スケジューリングの改善を含む。

実験結果

リサーチクエスチョン

• RQ1 1M トークンまでの長文脈をどのように効果的に拡張しつつ、短文脈性能を維持または向上させることができるか？
• RQ2 Qwen2.5-1M で長距離依存を促進するデータと訓練戦略は何か？
• RQ3 推論を外挿、疎結合アテンション、エンジン最適化を通じて超長文脈でコスト効率とスケーラビリティを高めるにはどうすればよいか？
• RQ4 長さ外挿とスパース性の改良が長文脈検索と質問応答タスクに与える影響はどのようなものか？
• RQ5 Qwen2.5-1M モデルは長文脈ベンチマークで既存の1M-コンテキスト代替手法とどう比較されるか？

主な発見

• Qwen2.5-1M モデルは open-source inference framework を使用することで 1M-context 処理を達成し、プリフィルの速度が大幅に向上（3x 〜 7x のプリフィル高速化）した。
• 262,144 トークンまでの長文脈を含む段階的なコンテキスト長と合成長データタスクによる長文脈理解の改善は、短文脈性能を犠牲にしない。
• 2段階のポスト訓練とオフライン RL は人間の好みに対する整合性を高め、長文脈タスクへ generalize し、RL 後の Longbench-Chat で測定可能な向上を示す。
• Dual Chunk Attention (DCA) と YaRN アテンションスケーリングによる長さ外挿は、Passkey Retrieval や NIAH のような長文脈タスクで大幅な性能向上をもたらす（コンテキスト最大 1M トークン）。
• MInference ベースの疎結合アテンション、チャンク化プリフィル、スパース性改良は Needle in a Haystack テストで 1M トークン文脈のほとんどの検索精度を回復しつつ、 substantial speedups を可能にする。