[論文レビュー] Text and Patterns: For Effective Chain of Thought, It Takes Two to Tango

Aman Madaan, Amir Yazdanbakhsh|arXiv (Cornell University)|Sep 16, 2022

Topic Modeling被引用数 21

ひとこと要約

本論文は反事実的 prompting を用いて chain-of-thought prompting を分析し、テキストとパターンの共生的な役割を示し、性能を維持しつつプロンプトを削減する CCOT を導入する。

ABSTRACT

The past decade has witnessed dramatic gains in natural language processing and an unprecedented scaling of large language models. These developments have been accelerated by the advent of few-shot techniques such as chain of thought (CoT) prompting. Specifically, CoT pushes the performance of large language models in a few-shot setup by augmenting the prompts with intermediate steps. Despite impressive results across various tasks, the reasons behind their success have not been explored. This work uses counterfactual prompting to develop a deeper understanding of CoT-based few-shot prompting mechanisms in large language models. We first systematically identify and define the key components of a prompt: symbols, patterns, and text. Then, we devise and conduct an exhaustive set of experiments across four different tasks, by querying the model with counterfactual prompts where only one of these components is altered. Our experiments across three models (PaLM, GPT-3, and CODEX) reveal several surprising findings and brings into question the conventional wisdom around few-shot prompting. First, the presence of factual patterns in a prompt is practically immaterial to the success of CoT. Second, our results conclude that the primary role of intermediate steps may not be to facilitate learning how to solve a task. The intermediate steps are rather a beacon for the model to realize what symbols to replicate in the output to form a factual answer. Further, text imbues patterns with commonsense knowledge and meaning. Our empirical and qualitative analysis reveals that a symbiotic relationship between text and patterns explains the success of few-shot prompting: text helps extract commonsense from the question to help patterns, and patterns enforce task understanding and direct text generation.

研究の動機と目的

• いくつかのショットプロンプトの主要な意味的要素を同定する: 記号、パターン、テキスト。
• 複数のタスクとLLMに対して反事実的プロンプトを用い、それぞれの要素の役割を実験的に分離する。
• テキストとパターンが chain-of-thought の成功に相互依存的に影響することを示す。
• おおよそ20%のトークン削減を実現しつつ性能を維持または向上させる、簡潔なプロンプティング方式 CCOT を提案する。

提案手法

• 3つの意味的プロンプト要素を定義する: 記号、パターン、テキスト。
• それぞれのコンポーネントを一度に1つだけ変更する反事実的プロンプトを設計して影響を測定する。
• PaLM-62B、GPT-3、CODEX の4つの推論タスクでプロンプトを評価する。
• 異なるプロンプト下で推論機構を理解するためにアテンションパターンを分析する。

実験結果

リサーチクエスチョン

• RQ1 チェーン・オブ・思考 prompting の成功における記号、パターン、テキストの役割は何か。
• RQ2 各要素への反事実的変更は、タスクとモデル全体での性能にどう影響するか。
• RQ3 簡潔なプロンプティング手法は、プロンプト長を削減しても性能を維持できるか（CCOT）？
• RQ4 テキストとパターンの相互作用は、LLM における few-shot 推論の有効性をどのように説明するか。

主な発見

• 記号の正確な型は性能にほとんど影響を与えない；抽象的プレースホルダでも効果的になり得る。
• パターンは必要だが十分ではない；パターンがないと COT はパフォーマンスが低下し、場合によっては直接 prompting に退化する。
• テキストは常識と意味論を提供し、パターンが生成を導くのに不可欠である。
• テキストとパターンは共生的な関係を形成し、COT の成功を大いに説明する。互いに補完的な情報を提供する。
• CCOT はトークン使用量を約20%削減し、タスク解決率を害さず、時には向上させる。