[論文レビュー] Successive Prompting for Decomposing Complex Questions

Dheeru Dua, Shivanshu Gupta+2 more|arXiv (Cornell University)|Dec 8, 2022

Topic Modeling被引用数 7

ひとこと要約

本論文では、複雑な質問を段階的に単純な部分問題に分解し、大規模言語モデルを用いて順次回答するSuccessive Promptingという手法を紹介する。分解と回答のための監視を分離することで、モジュラーな学習と推論を可能にする。本手法は、各ステップで複数のコンテキスト例を選択可能にし、合成データを用いて推論のギャップを補完することで、SOTAモデル比で少サンプルDROPで5%の絶対的F1向上を達成した。

ABSTRACT

Answering complex questions that require making latent decisions is a challenging task, especially when limited supervision is available. Recent works leverage the capabilities of large language models (LMs) to perform complex question answering in a few-shot setting by demonstrating how to output intermediate rationalizations while solving the complex question in a single pass. We introduce ``Successive Prompting'', where we iteratively break down a complex task into a simple task, solve it, and then repeat the process until we get the final solution. Successive prompting decouples the supervision for decomposing complex questions from the supervision for answering simple questions, allowing us to (1) have multiple opportunities to query in-context examples at each reasoning step (2) learn question decomposition separately from question answering, including using synthetic data, and (3) use bespoke (fine-tuned) components for reasoning steps where a large LM does not perform well. The intermediate supervision is typically manually written, which can be expensive to collect. We introduce a way to generate a synthetic dataset which can be used to bootstrap a model's ability to decompose and answer intermediate questions. Our best model (with successive prompting) achieves an improvement of ~5% absolute F1 on a few-shot version of the DROP dataset when compared with a state-of-the-art model with the same supervision.

研究の動機と目的

• 大規模言語モデルが推論ステップや潜在的意思決定に苦労する少サンプル複雑質問対応の課題に対処すること。
• 質問分解の監視と回答生成の監視を分離し、モジュラーな学習と推論を可能にすること。
• 各推論ステップごとに複数のコンテキスト例を選択可能にすることで、少サンプル性能を向上させること。
• 分解と回答の両方の監視を提供する合成データジェネレータを開発し、高価な手動アノテーションへの依存を減らすこと。
• LMが性能を発揮できない特定の推論ステップに対して、特化したコンponent（例：微調整済みモデルや記号的エンジン）を統合できるようにすること。

提案手法

• 本手法は反復的プロンプティングを用いる：各ステップでモデルは次に尋ねるべき単純な質問を予測し、それを回答する。このプロセスを繰り返し、最終的な答えに到達するまで続ける。
• 分解と回答は、それぞれ独立した監視とコンテキスト学習の能力を持つ、モジュラーな段階として実行される。
• 本アプローチでは、元の質問に基づく固定された一組の例ではなく、各推論ステップに特化した複数のコンテキスト例の選択を可能にしている。
• 半構造化されたWikipediaテーブルから合成データセットを生成し、中間段階の分解と回答生成の両方の監視を提供する。
• モデルは分解と回答のタスクごとに個別に微調整可能であり、特定の推論タイプに対する的確な改善が可能になる。
• フレームワークは、LMコンponentを適切な場所で特化した記号的または微調整済みモデルに置き換えることを可能にしている。

実験結果

リサーチクエスチョン

• RQ1 各推論ステップに対して別個の監視を用いた反復的分解は、少サンプル複雑質問対応を改善できるか？
• RQ2 各ステップで複数のコンテキスト例を選択可能にすることで、単一パスプロンプティングよりも性能が向上するか？
• RQ3 合成データは、リソースが限られた環境で推論能力を効果的に補完できるか？
• RQ4 LMと特化したコンponentを組み合わせたモジュラーなシステムは、エンドツーエンドのLMベースのアプローチを上回る性能を発揮できるか？
• RQ5 分解の粒度は性能にどのように影響するか？また、モデルの能力に適応可能か？

主な発見

• Successive Promptingは、DROPデータセットにおける少サンプルコンテキスト学習で、チェーン・オブ・トゥーク・プロンプティング比で4.6 F1ポイントの向上を達成した。
• リスト型の質問に特化した微調整済みモデルに、コンテキストQAモジュールを置き換えることで、追加で9.5 F1ポイントの向上が得られた。
• 最良のSuccessive Promptingモデルは、同じ少サンプル監視を用いたSOTAモデル比で、約5%の絶対的F1向上を達成した。
• 合成データジェネレータは、DROPにおける大部分の推論タイプをカバーしており、効果的な事前学習と微調整を可能にした。
• 分解と回答の分離により、特定のモデル改善と特化コンponentの統合が可能になった。
• 本手法は、1つの質問に対して複数回のモデルクエリを必要とするため計算コストが増加するが、精度の向上とモularityがそれを相殺している。