[論文レビュー] Automatic Chain of Thought Prompting in Large Language Models

Zhuosheng Zhang, Aston Zhang+2 more|arXiv (Cornell University)|Oct 7, 2022

Topic Modeling被引用数 233

ひとこと要約

Auto-CoT はクラスタリングとゼロショット推論を用いて多様な chain-of-thought デモを自動構成し、十の推論ベンチマークにおいて手作成デモと同等以上の性能を達成する。

ABSTRACT

Large language models (LLMs) can perform complex reasoning by generating intermediate reasoning steps. Providing these steps for prompting demonstrations is called chain-of-thought (CoT) prompting. CoT prompting has two major paradigms. One leverages a simple prompt like "Let's think step by step" to facilitate step-by-step thinking before answering a question. The other uses a few manual demonstrations one by one, each composed of a question and a reasoning chain that leads to an answer. The superior performance of the second paradigm hinges on the hand-crafting of task-specific demonstrations one by one. We show that such manual efforts may be eliminated by leveraging LLMs with the "Let's think step by step" prompt to generate reasoning chains for demonstrations one by one, i.e., let's think not just step by step, but also one by one. However, these generated chains often come with mistakes. To mitigate the effect of such mistakes, we find that diversity matters for automatically constructing demonstrations. We propose an automatic CoT prompting method: Auto-CoT. It samples questions with diversity and generates reasoning chains to construct demonstrations. On ten public benchmark reasoning tasks with GPT-3, Auto-CoT consistently matches or exceeds the performance of the CoT paradigm that requires manual designs of demonstrations. Code is available at https://github.com/amazon-research/auto-cot

研究の動機と目的

• デモンストレーション設計を自動化することで chain-of-thought prompting の manual 努力を削減する動機づけ。
• 自動生成デモの多様性が CoT の性能を改善することを示す。
• 算術・常識・記号推論タスクを横断して Auto-CoT の有効性を示す。

提案手法

• Sentence-BERT 表現と k-means による質問のクラスタリングを用い、 diverse なグループを作成。
• 各クラスタから代表的な質問を選択し、Zero-Shot-CoT プロンプトを用いて推論チェーンを生成してデモを形成。
• クラスタごとに k 個のデモを構築（各クラスタにつき1つ）し、テスト質問を文脈内プロンプトとして結合。
• 簡単なヒューリスティクスを適用してデモをフィルタリング（質問と推論根拠の長さ制約など）。
• Auto-CoT を GPT-3（text-davinci-002）と Codex で Zero-Shot-CoT、Zero-Shot-CoT、Few-Shot、Manual-CoT のベースラインと比較・評価。
• 算術、常識、記号推論を横断する10データセットでの性能を比較。

実験結果

リサーチクエスチョン

• RQ1 多様性に driven な自動 CoT デモ構築は、手動設計デモと同等またはそれを上回ることができるか。
• RQ2 多様性ベースのサンプリングは Auto-CoT におけるゼロショット推論チェーンの誤り（類似性による誤導）を緩和するか。
• RQ3 Auto-CoT は多様な推論タスクと異なる LLM バックボーン（GPT-3 と Codex）でどう機能するか？

主な発見

• Auto-CoT は GPT-3 を用いた場合、十の推論データセットで一貫して Manual-CoT に匹敵またはそれを上回る。
• 算術データセットでは、Auto-CoT は Manual-CoT に近いまたはそれを上回る精度を達成（例: MultiArith: 92.0 vs 91.7）。
• Auto-CoT は GSM8K、AddSub、AQuA、SingleEq、SVAMP、CSQA、Strategy、Letter、Coin データセットでも Manual-CoT に対して競争力がある、しばしば優位。
• Codex を使用した場合、Auto-CoT は Manual-CoT より競争力を維持し、しばしば優位（例: MultiArith: 93.2 vs 96.8 for Manual-CoT, Auto-CoT: 93.2; AddSub: 91.9 vs 84.6 for Manual-CoT）。
• Auto-CoT の多様性駆動サンプリングは誤ったデモへの頑健性を示し、クラスタ内サンプリングが誤デモ増加時に劣ることを上回る。
• Auto-CoT は Auto-CoT* ブートストラッピングを介してストリーミングシナリオに適応し、初期バッチ後の Manual-CoT と同等の性能を示す。