[論文レビュー] Generalizable Chain-of-Thought Prompting in Mixed-task Scenarios with Large Language Models

Anni Zou, Zhuosheng Zhang+2 more|arXiv (Cornell University)|Oct 10, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、入力質問の種別が未知である混合タスク環境を想定した汎用的なチェーン・オブ・トゥーク（CoT）プロンプティングフレームワーク、GeM-CoTを提案する。本手法は、動的に更新されるプールからタイプ分類と多様性に基づくデモンストレーションの検索または構築を実行し、33の推論タスク（10の公開データセットと23のBBHタスクを含む）において最先端の性能と強力な汎用性を達成する。

ABSTRACT

Large language models (LLMs) have unveiled remarkable reasoning capabilities by exploiting chain-of-thought (CoT) prompting, which generates intermediate reasoning chains to serve as the rationale for deriving the answer. However, current CoT methods either simply employ general prompts such as Let's think step by step, or heavily rely on pre-defined task-specific demonstrations to attain preferable performances, thereby engendering an inescapable gap between performance and generalization. To bridge this gap, we propose GeM-CoT, a Generalizable CoT prompting mechanism in Mixed-task scenarios where the type of input questions is unknown. GeM-CoT first categorizes the question type and subsequently samples or constructs demonstrations from the corresponding data pool in an automatic pattern. With this technical design, GeM-CoT simultaneously enjoys superior generalization capabilities and remarkable performances on 10 public reasoning tasks and 23 BBH tasks.

研究の動機と目的

• 入力質問の種別が未知で動的に混合される現実的で混合タスクのシナリオにおいて、チェーン・オブ・トゥークプロンプティングの性能と汎用性のギャップを解消すること。
• タスク固有のデモンストレーションや手動ラベルに依存せずに、高い性能を維持できるプロンプティングメカニズムの開発。
• 長期的な適応性を支えるために、自動的でスケーラブルかつコストフリーなデモンストレーションの検索と構築を可能にする。
• ゼロショットの汎用性とフェイシュットの性能のトレードオフを、統一的で自己更新可能なフレームワークによって統合すること。
• 算術的、常識的、記号的推論を含む多様な推論タスクにおける強靭性と汎用性の実証。

提案手法

• 事前に構築されたデモンストレーションプールとの意味的類似度マッチングを用いて、入力質問をタスク種別に分類する。
• 正常にマッチングされた質問に対しては、対応するタスク固有のデータプールから多様で高品質なデモンストレーションを検索する。
• マッチングに失敗した質問に対しては、ゼロショット推論を実行し、入力質問と回答の三つ組をデータキャッシュに保存する。
• キャッシュ内のグループ化された質問に対して密度ベースクラスタリングを適用し、品質基準を満たすクラスタを特定する。
• 各品質基準を満たすクラスタから、多様でタスクに適したデモンストレーションを自動的に構築し、将来的な使用のためにデモンストレーションプールに追加する。
• デモンストレーションプールとキャッシュを継続的に更新することで、長期的な適応性と時間経過に伴う汎用性の向上を確保する。

Figure 1: Comparison of conventional single-task scenarios and our concerned setting: mixed-task scenarios . There are three major characteristics of mixed-task scenarios: (i) the type of any incoming question is unknown; (ii) the input data comes from a set of mixed tasks; (iii) the questions come

実験結果

リサーチクエスチョン

• RQ1 チェーン・オブ・トゥークプロンプティングメカニズムは、種別が未知の混合タスク環境において、高い性能を維持しながら強力な汎用性を達成できるか？
• RQ2 フェイシュットCoTプロンプティングにおいて、類似度ベースやランダムサンプリングと比較して、多様性に基づくデモンストレーション選択はどの程度効果的か？
• RQ3 意味的類似度に基づくタイプマッチングは、LLMベースの分類器と比較して、コスト、正確性、汎用性の観点で優れているか？
• RQ4 多様な推論タスク全体で適合率と再現率のバランスを最適化するには、タイプマッチングモジュールにおける閾値としてどの値が最適か？
• RQ5 クラスタリングされたデータから自動的にデモンストレーションを構築することは、ゼロショットおよびフェイシュット設定において性能と汎用性の両方を向上させることができるか？

主な発見

• GeM-CoTは、AddSubで93.7%、Coinで100%の正確度を示す10の公開推論ベンチマークで最先端の性能を達成した。
• 類似度ベースおよびランダム選択戦略を上回り、AQuAでは51.9%、Strategyでは63.5%の正確度を達成した。
• APIコストやプロンプト工学の必要がないにもかかわらず、LLMベースの分類器と同等の性能を達成した。
• タイプマッチングモジュールの閾値として0.35を用いることで、1,200件のテスト質問を用いた分析により、全タスクで最適なF1スコアと正確度が得られた。
• GeM-CoTは強力な汎用性を示し、バッチ2以降で性能が着実に向上する傾向を示しており、データ量の増加に伴い適応性が高まることを示した。
• 本手法は性能と汎用性を統合的に実現し、23のBBHタスクで高い正確度を達成するとともに、オープンエンドで混合タスクが混在する環境においても広範な適用性を維持した。

Figure 2: Overview of our proposed GeM-CoT mechanism. GeM-CoT first routes the input question to different paths ( Type Matching ): i) path matched $\rightarrow$ : For a successful match, it fetches demonstrations from the demo pool ( Demo Acquisition ) and performs a final inference ( Answer Deriva