[論文レビュー] Decomposed Prompting: A Modular Approach for Solving Complex Tasks

Tushar Khot, Harsh Trivedi+5 more|arXiv (Cornell University)|Oct 5, 2022

Topic Modeling被引用数 91

ひとこと要約

Decomposed Prompting (DecomP) は複雑なタスクをモジュラーなサブタスクプロンプトと任意の記号的/外部ツールで処理されるより簡単なサブタスクに分解し、複数の推論タスクにおける少数ショット性能を向上させ、コンポーネントの柔軟な再利用と置換を可能にする。

ABSTRACT

Few-shot prompting is a surprisingly powerful way to use Large Language Models (LLMs) to solve various tasks. However, this approach struggles as the task complexity increases or when the individual reasoning steps of the task themselves are hard to learn, especially when embedded in more complex tasks. To address this, we propose Decomposed Prompting, a new approach to solve complex tasks by decomposing them (via prompting) into simpler sub-tasks that can be delegated to a library of prompting-based LLMs dedicated to these sub-tasks. This modular structure allows each prompt to be optimized for its specific sub-task, further decomposed if necessary, and even easily replaced with more effective prompts, trained models, or symbolic functions if desired. We show that the flexibility and modularity of Decomposed Prompting allows it to outperform prior work on few-shot prompting using GPT3. On symbolic reasoning tasks, we can further decompose sub-tasks that are hard for LLMs into even simpler solvable sub-tasks. When the complexity comes from the input length, we can recursively decompose the task into the same task but with smaller inputs. We also evaluate our approach on textual multi-step reasoning tasks: on long-context multi-hop QA task, we can more effectively teach the sub-tasks via our separate sub-tasks prompts; and on open-domain multi-hop QA, we can incorporate a symbolic information retrieval within our decomposition framework, leading to improved performance on both tasks. Datasets, Code and Prompts available at https://github.com/allenai/DecomP.

研究の動機と目的

• 単一のプロンプト推論を超える複雑なタスクの少数ショット解法の改善を動機づける。
• サブタスクハンドラを解くサブ問題へ導く分解器がサブ問題を解くモジュラー分解フレームワークを導入する。
• 記号的ツールや外部システムを含むサブタスクハンドラの再利用と置換を可能にする。
• 記号操作、長文コンテキストQA、オープンドメインのマルチホップQA全体で性能の改善を示す。

提案手法

• 複雑なクエリに対してプログラム風のサブタスク列を生成する分解器LLMを提案する。
• 各サブタスクを、別の prompting プログラムや象徴的な関数であり得る専用のサブタスクハンドラを介して具体化する。
• モジュラープロンプトとして、分解器と各サブタスクハンドラを独立して訓練するために文脈内の例を用いる。
• 非常に長い入力やネストされたサブ問題を扱うために再帰的または階層的な分解を許可する。
• 検索タスクのサブタスクハンドラとして外部ツール（例：Elasticsearch）を統合する。
• 象徴的タスク、長文コンテキストQA、オープンドメインのマルチホップQAを横断する8データセットで貪欲推論を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 分解されたプロンプティングは、標準的なチェーン・オブ・ソート推論と比べて複雑なタスクに対する少数ショットの性能を向上させるか？
• RQ2 モジュラーデコンポジションは全体のシステムを変更せずにサブタスクハンドラの置換やアップグレードを可能にするか？
• RQ3 再帰的・階層的分解は、より長い入力やより複雑な推論へ一般化できるか？
• RQ4 記号的ツールや検索ツールをサブタスクハンドラとして組み込むことがオープンディメインQAに与える影響は何か？
• RQ5 サブタスクの後処理や誤り訂正が全体の正確度にどう影響するか？

主な発見

• DecomP はいくつかのタスクで標準の CoT プロンプティングを上回り、長い入力や見たことのない組み合わせへの一般化能力が高い。
• 再帰的分解は、リスト反転タスクにおける標準のCoTを超えた長さの一般化を可能にする。
• DecomP フレームワーク内で検索サブタスク（Elasticsearch）を組み込むことは、複数データセットにまたがるオープンディメインのマルチホップ QAを改善する。
• 狙いを絞ったサブタスクハンドラを用いた CoT の後処理は、算術ワード問題で大きな改善をもたらす（例：MultiArithで17ポイント、GSM8Kで14ポイントの改善）。
• DecomP はモジュラリティを維持する：サブタスクプロンプトは個別に改善または置換でき、全体のシステムを再作成することなく、必要に応じて外部ツールを組み込める。