[論文レビュー] Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context Reasoning with Language Models

Soochan Lee, Gunhee Kim|arXiv (Cornell University)|Jun 12, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文は、特殊トークン（GO、STOP、THINK）を用いてタスクを複数のサブコンテキストに再帰的に分割することで、文脈長を超える複雑な推論問題を解けるモデル非依存の推論フレームワークであるRecursion of Thought (RoT) を導入する。RoTにより、GPT-3 などのモデルは、数10万個の推論トークンを要する問題を解くことができ、算術的・アルゴリズム的タスクにおいて文脈長の標準的制限を超えてほぼ完璧な正確性を示す。

ABSTRACT

Generating intermediate steps, or Chain of Thought (CoT), is an effective way to significantly improve language models' (LM) multi-step reasoning capability. However, the CoT lengths can grow rapidly with the problem complexity, easily exceeding the maximum context size. Instead of increasing the context limit, which has already been heavily investigated, we explore an orthogonal direction: making LMs divide a problem into multiple contexts. We propose a new inference framework, called Recursion of Thought (RoT), which introduces several special tokens that the models can output to trigger context-related operations. Extensive experiments with multiple architectures including GPT-3 show that RoT dramatically improves LMs' inference capability to solve problems, whose solution consists of hundreds of thousands of tokens.

研究の動機と目的

• 大規模言語モデルが複雑で多段階の推論問題を解く際の固定された文脈長という深刻な制限に対処すること。
• 標準的なコンテキスト窓を超えて、数10万個のトークンを要する推論タスクを解ける言語モデルを可能にすること。
• アーキテクチャの変更やタスク固有のツールを必要としない、モデル非依存の推論フレームワークを提案すること。
• 単一コンテキスト生成の制約を超えてスケーラブルな「分割統治」戦略による推論を検討すること。

提案手法

• GO（問題の開始）、STOP（問題の終了）、THINK（新しいコンテキストへの再帰をトリガー）の3つの特殊トークンを導入。
• 各推論コンテキストを、メイン問題とサブ問題の質問・回答の連結として構造化し、階層的分解のためのネストされた GO-STOP ペアを用いる。
• THINK トークンを用いて再帰的推論プロセスを開始し、各サブ問題に対して新しいコンテキストを作成しながら、メイン問題のコンテキストを保持する。
• サブ問題を独立して解き、その答えをメインの解決フローに統合する再帰的生成戦略を採用。
• 極端な難易度（例：64桁の算術）に調整可能な、8つの算術的・アルゴリズム的タスクからなる合成ベンチマークを設計し、長文コンテキスト推論を評価。
• 外部ツールを必要とせず、スケーラブルでマルチコンテキスト推論を可能にするために、これらの特殊トークンを戦略的に生成するようにモデルをエンドツーエンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 言語モデルは、自ら生成した特殊トークンのみを用いて、文脈窓を超えて著しく長い解決手順を要する推論問題を解くことができるか？
• RQ2 THINK トークンを介した再帰的分解戦略は、10万トークンを超える推論ステップを要する問題を処理するためにどれほど効果的か？
• RQ3 RoTフレームワークは、超長時間の推論タスクにおいて、標準的な Chain-of-Thought (CoT) やベースラインプロンプティング (WT) を上回る性能を示すか？
• RQ4 タスク固有の適応なしに、算術、動的計画法、文字列操作など多様な推論タイプに一般化可能か？
• RQ5 RoT の性能の上限は何か？また、モデルサイズやアーキテクチャの変更に伴い、どのようにスケーリングするか？

主な発見

• 8桁および16桁の加算・減算タスクにおいて、推論ステップが10万トークンを超えていても、RoTは100％の正確性を達成。
• 64桁の加算・減算タスクでは、RoTは100％の正確性を維持するが、標準的な CoT は完全に失敗（0％の正確性）し、そのスケーラビリティを示す。
• 乗算・除算タスクでは、32桁の問題において RoT は99.9％の正確性を達成し、CoT や WT ベースラインを著しく上回る。
• Longest Common Subsequence (LCS) や Longest Palindromic Subsequence (LPS) といったアルゴリズム的問題では、長さ32まで RoT は100％の正確性を維持するが、CoT は長さ12を超えると失敗する。
• 0-1ナップサック問題および Matrix Chain Multiplication (MCM) 問題では、小規模なインスタンスにおいて RoT は100％の正確性を達成し、LPS に56要素を含む問題でも99.8％の高い性能を維持する。これはベースラインを著しく上回る。
• LSTMベースのモデルでさえ、12桁の加算タスクで RoT は98.6％の正確性を達成するが、CoT は完全に失敗する。これは、アーキテクチャを問わず高い頑健性を示している。