[論文レビュー] Iteratively Prompt Pre-trained Language Models for Chain of Thought

Boshi Wang, Xiang Deng+1 more|arXiv (Cornell University)|Mar 16, 2022

Topic Modeling被引用数 6

ひとこと要約

本論文は、各段階で文脈に適したプロンプトを動的に生成することで、事前学習済み言語モデル（PLM）が微調整なしに複数ステップの推論を実行できる反復的プロンプティングフレームワークを提案する。この手法は、複雑な推論タスクにおける性能を向上させ、3つのマルチホップ推論データセットにおいて、従来のプロンプティング手法を顕著に上回る。

ABSTRACT

While Pre-trained Language Models (PLMs) internalize a great amount of world knowledge, they have been shown incapable of recalling these knowledge to solve tasks requiring complex & multi-step reasoning. Similar to how humans develop a "chain of thought" for these tasks, how can we equip PLMs with such abilities? In this work, we explore an iterative prompting framework, a new prompting paradigm which progressively elicits relevant knowledge from PLMs for multi-step inference. We identify key limitations of existing prompting methods, namely they are either restricted to queries with a single identifiable relation/predicate, or being agnostic to input contexts, which makes it difficult to capture variabilities across different inference steps. We propose an iterative context-aware prompter, which addresses these limitations by learning to dynamically synthesize prompts conditioned on the current step's contexts. Experiments on three datasets involving multi-step reasoning show the effectiveness of the iterative scheme and the context-aware prompter design.

研究の動機と目的

• 事前学習済み言語モデル（PLM）の多段階推論を促すために、静的または単純すぎるプロンプトに起因する既存のプロンプティング手法の限界を是正すること。
• 複数ステップの推論タスクに適した、軽量で微調整を伴わないアプローチを開発し、PLMが知識の系列（「思考の連鎖」）を想起できるようにすること。
• 現在の推論ステップと以前に収集された証拠に基づいて、動的にプロンプトを合成する文脈に適したプロンプターを設計し、推論の整合性を向上させること。
• モデルパラメータの整合性を保ちながら、反復的プロンプティングの効果が推論性能の向上に寄与するかを評価すること。
• 定性的および定量的分析を通じて、学習されたプロンプティング行動の忠実性と頑健性を調査すること。

提案手法

• 別個の文脈に適したプロンプターが、各ステップに特化したプロンプトを生成することで、PLMを複数ステップの推論に導く反復的プロンプティングフレームワークを導入する。
• 各ステップで、プロンプターは元のクエリとこれまでに収集された証拠を処理し、次の関連する事実を想起するように誘導する動的プロンプトを構成する。
• プロンプターは、各ステップで未解決のクエリ要因に焦点を当て、過去の知識を統合する文脈に適したプロンプトを生成するように訓練される。
• 訓練中はPLMが凍結されたままとなるため、パラメータ効率が保たれ、深刻な忘却のリスクが回避される。
• プロンプターは、現在の文脈を条件として自然言語プロンプトを生成するニューラルネットワークとして実装され、柔軟で適応可能なプロンプティングを可能にする。
• 最終的な回答に基づいて損失を計算する supervised supervision を用いて、推論チェーン全体をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 反復的プロンプティングフレームワークは、単一ステップのプロンプティングと比較して、事前学習済み言語モデルにおける多段階推論を向上させることができるか？
• RQ2 中間の推論状態に動的に適応する文脈に適したプロンプターは、複雑な推論タスクにおける性能にどのように影響を与えるか？
• RQ3 反復的スキームは、推論チェーンにおける幻覚の発生をどの程度低減し、事実の整合性を向上させるか？
• RQ4 マルチホップ推論ベンチマークにおいて、本手法は既存のプロンプティングベースラインと比較して、正確性と頑健性の面で優れているか？
• RQ5 学習されたプロンプティング行動は、忠実な思考の連鎖として信頼可能で解釈可能か？

主な発見

• 反復的プロンプティングフレームワークは、2WikiMultiHopQA、R4C、および科学的推論データセットを含む3つの多段階推論データセットにおいて、標準的なプロンプティングおよび既存のベースラインを顕著に上回る。
• 文脈に適したプロンプター設計は、静的プロンプティング手法と比較して顕著な性能向上を達成しており、ステップ固有で文脈に適したプロンプト生成の重要性を示している。
• 定量的評価では、本手法が2WikiMultiHopQAおよびR4Cで強力なベースラインと比較して正確一致精度を最大15%向上させた。
• 定性的分析により、モデルが一貫性があり忠実な推論チェーンを生成することが確認され、各ステップで未解決のクエリ要因に適切に焦点を当てたプロンプトが生成されていることが示された。
• PLMの微調整が行われない状態でも高い性能を維持していることから、本手法の効率性と大規模な凍結モデルとの相性の良さが浮き彫りになった。
• アブレーションスタディにより、反復構造と文脈に適したプロンプト生成の両方が性能向上に不可欠であることが確認され、各要素が最終結果に顕著な貢献を果たしている。