[論文レビュー] Diversity of Thought Improves Reasoning Abilities of LLMs

Ranjita Naik, Varun Chandrasekaran+3 more|arXiv (Cornell University)|Oct 11, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、大規模言語モデル（LLM）の推論を向上させるため、LLMフィードバックを用いて多様なプロンプト戦略を生成し、複数回の推論呼び出し（Div-Se）または1回の呼び出し内（IDiv-Se）で複数の応答をアンサンブル化する手法、Div-SeおよびIDiv-Seを提案する。このアプローチはデコードの変更なしに精度を向上させ、GPT-3.5およびGPT-4を用いた複数の推論ベンチマークにおいて、精度-コストのパレートフロンティアを前進させ、4/5 Blocksworldタスクでは最高で29.6パーセンテージポイントの向上を達成した。

ABSTRACT

Large language models (LLMs) are documented to struggle in settings that require complex reasoning. Nevertheless, instructing the model to break down the problem into smaller reasoning steps, or ensembling various generations through modifying decoding steps boosts performance. However, these methods assume that the input prompt is fixed and expect the decoding strategies to introduce the diversity needed for ensembling. In this work, we discuss how one can create and leverage variations of the input prompt as a means of diversity of thought. We propose a method that automatically improves prompt diversity by soliciting feedback from the LLM to ideate approaches that are apt for the problem. We then ensemble the diverse prompts in our method DIVSE (DIVerse reasoning path Self-Ensemble) across multiple inference calls, or use diverse approaches within a single inference call; we call the latter IDIV-SE (In-call DIVerse reasoning path Self-Ensemble). Apart from our approaches outperforming prior work, DIV-SE(in particular) advances state-of-the-art performance on the challenging planning and graph coloring benchmarks. Our results improve the Pareto frontier of the accuracy-cost trade-off.

研究の動機と目的

• 少数ショットおよびゼロショットCoTプロンプティングにおける固定プロンプトの制限に対処し、性能の向上がデコードの確率的性質に依存する現状を改善すること。
• 特に商用またはブラックボックスのデプロイメント環境において、デコードプロセスを変更せずにLLMの推論性能を向上させること。
• 異なる問題解決アプローチ（例：逆算、可視化、除外）といった「思考レベル」での多様性が、トークンレベルの確率的性質よりも、アンサンブル精度をより効果的に向上させられるかを検討すること。
• IDiv-Seにより、1回の呼び出しで複数の多様なプロンプトを処理できるようにすることで、推論コストを低減しながら性能を維持または向上させること。
• 思考の多様性を原理的で整合性のあるプロンプティング戦略として確立し、LLM推論における精度対コストのパレートフロンティアを前進させること。

提案手法

• 与えられた推論タスクに対して、LLMのフィードバックを活用して複数の高レベルの問題解決アプローチ（例：逆算、可視化、除外）を生成する。
• 特定された各アプローチを用いて、先行研究（例：Chain-of-Thought）の例示的推論手順を、そのアプローチに適合した新しいプロンプト形式へスタイル変換する。
• Div-Seは、複数の独立した推論呼び出しを実行し、それぞれが異なる多様なプロンプトを使用し、多数決投票によって結果を統合する。
• IDiv-Seは、n個の多様なプロンプトを1つの入力プロンプトに統合し、1回の推論呼び出しでn個の推論経路を生成し、多数決投票によって出力を統合する。
• このアプローチは、モデルが多様な推論戦略を提案できる能力を活用し、トークンレベルではなく思考レベルでの多様性を保証する。
• 統合は多数決投票またはメタリーダリング技術を用い、最終出力の信頼性を向上させる。

Figure 1: Diversity of Thought enhances the inference cost and accuracy trade-off. We compare DIV-SE and IDIV-SE with SC (Wang et al., 2023 ) and CoT (Wei et al., 2022 ) across three benchmarks. Panels show (i) AQUA-RAT on GPT-3.5 in few-shot-CoT setting, and (ii) Blocksworld 3 and 4/5 on GPT-4 in z

実験結果

リサーチクエスチョン

• RQ1 LLMから多様な問題解決アプローチを要請することで、標準的なCoTおよび自己一貫性（SC）手法を超える推論性能を達成できるか？
• RQ2 逆算や可視化といった異なる戦略を含む「思考レベル」での多様性が、トークンレベルの多様性よりも、アンサンブル精度をより良くするか？
• RQ3 1回の推論呼び出しで処理可能な手法（IDiv-Se）が、複数回の呼び出しによるアンサンブル（Div-Se）と同等の性能を達成できるか？
• RQ4 LLMフィードバックを用いて生成されたプロンプトの多様性が、推論ベンチマークにおける精度-コストパレートフロンティアをどの程度前進させるか？
• RQ5 アンサンブル統合なしでも、LLMが提案するアプローチに基づく多様なプロンプト戦略が、ゼロショットCoTを独立して上回るか？

主な発見

• Div-SeおよびIDiv-Seは、GPT-3.5およびGPT-4の両方において、AQUA-RATおよびBlocksworldを含む複数の推論ベンチマークで、Chain-of-Thought（CoT）および自己一貫性（SC）プロンプティングを上回る性能を示した。
• 挑戦的な4/5 Blocksworldタスクでは、Div-Seが先行する最良の結果から29.6パーセンテージポイントの向上を達成し、その水準を超えていた。
• AQUA-RATベンチマークでは、GPT-3.5を用いた少数ショット設定において、IDiv-SeがCoTよりも16.52パーセンテージポイントの性能向上を達成した。
• IDiv-Seは、はるかに低い推論コストでDiv-Seと同等の精度を達成し、呼び出し内アンサンブル推論の実現可能性を示した。
• アンサンブル統合なしでも、LLMが提案するアプローチに基づく多様なプロンプトが、標準的なゼロショットCoTを上回ることを示し、プロンプトの多様性そのものの価値を示した。
• メタリーダリング統合によりさらなる性能向上が得られたことから、推論経路に後処理技術が活用可能な豊富な情報が埋め込まれていることが示唆された。

Figure 2: Diversity of Thought . This illustration depicts CoT and IDiv-Se prompting strategies. Notice that both have a single example. However, IDiv-Se presents more diversity in terms of reasoning paths. This enables it to generate diverse completions, yielding more accurate responses.