[論文レビュー] Contrastive Chain-of-Thought Prompting

Yew Ken Chia, Guizhen Chen+3 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、正しくない推論の例も含む対照的連鎖的思考（CoT）プロンプトという手法を提案する。この手法は、既存の正しい推論チェーンから自動的に対照的推論を生成することで、大規模言語モデルの推論性能を向上させる。正しくない推論の例を提供することで、誤りを減らし、精度を向上させ、GPT-3.5-Turboを用いたGSM-8KおよびBamboogle Pressベンチマークで、それぞれ9.8点および16.0点の絶対的向上を達成する。

ABSTRACT

Despite the success of chain of thought in enhancing language model reasoning, the underlying process remains less well understood. Although logically sound reasoning appears inherently crucial for chain of thought, prior studies surprisingly reveal minimal impact when using invalid demonstrations instead. Furthermore, the conventional chain of thought does not inform language models on what mistakes to avoid, which potentially leads to more errors. Hence, inspired by how humans can learn from both positive and negative examples, we propose contrastive chain of thought to enhance language model reasoning. Compared to the conventional chain of thought, our approach provides both valid and invalid reasoning demonstrations, to guide the model to reason step-by-step while reducing reasoning mistakes. To improve generalization, we introduce an automatic method to construct contrastive demonstrations. Our experiments on reasoning benchmarks demonstrate that contrastive chain of thought can serve as a general enhancement of chain-of-thought prompting.

研究の動機と目的

• 無効な推論の例が言語モデルの推論性能を向上させることを調査し、従来の仮定（有効なチェーンのみが有益である）に疑問を呈すること。
• 特に、無効な例が有効な例と同等の性能を示すにもかかわらず、連鎖的思考プロンプトのメカニズムについての理解が不足している点を解決すること。
• モデルに「何をしないか」を明示的に教えることで、推論の誤りを減らし、モデルの頑健性と信頼性を向上させること。
• 追加のアノテーションコストが不要な自動的手法を用いて対照的例を生成することにより、さまざまなタスクに一般化可能な手法を構築すること。
• 従来の連鎖的思考プロンプトの一般化可能な強化手法として、対照的CoTを位置づけ、既存のデコード戦略（例：自己一貫性）と互換性を持つこと。

提案手法

• 本手法は、few-shotプロンプト文脈に正しくない推論の例も含む対照的連鎖的思考プロンプトを導入する。
• 既存の正しい推論チェーンを変更することで、論理的または事実上の不一致（例：誤った算術や誤った推論ステップ）を含む無効な推論チェーンを自動生成する。
• 変更戦略は、タスクの関連性を保ちつつ、一見妥当だが誤りである推論経路を導入するように設計されており、モデルが反例から学習できるようにする。
• 本手法はタスクに依存せず、自己一貫性などの既存のCoTデコード戦略とも互換性があり、性能向上をさらに強化できる。
• 対照的学習に類似した方法で、モデルが正しいと誤った推論経路を区別できるようにすることで、推論の一般化性能を向上させる。
• 対照的例の構築には新たなアノテーションが不要であり、既存の正しい推論チェーンから導出されるため、コストを最小限に抑える。

Figure 1: Example of contrastive chain-of-thought which leverages both positive and negative demonstrations to enhance language model reasoning.

実験結果

リサーチクエスチョン

• RQ1 無効な推論の例が、従来の研究で無効なチェーンにほとんど影響がないとされているにもかかわらず、言語モデルの推論性能を向上させることができるか？
• RQ2 対照的プロンプトにおいて、負例として含める際に最も効果的な推論誤りの種類は何か？
• RQ3 既存の正しい推論チェーンから手動のアノテーションなしに、対照的例を自動生成できるか？
• RQ4 対照的CoTは多様な推論タスクに一般化可能であり、一般的な推論誤りに対して頑健性を向上させることができるか？
• RQ5 対照的CoTは、自己一貫性などの既存のデコード戦略とどのように作用し合い、その利点をさらに強化するのか？

主な発見

• GPT-3.5-Turboを用いた場合、GSM-8Kベンチマークで9.8ポイント、Bamboogle Pressベンチマークで16.0ポイントの絶対的向上を達成した。
• モデル出力の手動分析により、生成された推論チェーン内の誤りの数が顕著に減少したことが確認された。
• 自己一貫性と組み合わせた場合、AQuAデータセットで追加で14.2%の性能向上が得られ、相乗効果が示された。
• 対照的例の自動生成により、従来のCoTと同等のアノテーションコストを維持でき、スケーラブルで実用的であることが分かった。
• 複数の推論ベンチマークにおいて、従来のCoTを上回る性能を示し、一般化可能な強化手法としての有効性を確認した。
• 正例と負例の両方から学ぶことが、推論の頑健性とモデルの信頼性を向上させるために不可欠であることが示唆された。

Figure 2: Categorization of invalid chain-of-thought examples, following Wang et al. ( 2023 ) .