[論文レビュー] Re-Reading Improves Reasoning in Large Language Models

Xiaohan Xu, Chongyang Tao+6 more|arXiv (Cornell University)|Sep 12, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文では、大規模言語モデルの推論を向上させるために、入力質問を複数回再読み込み・再処理するシンプルだが効果的なプロンプト戦略、Re-Reading (Re2) を導入する。この手法は、アーキテクチャの変更や複雑なサンプリングを必要とせず、Chain-of-Thought プロンプティングと組み合わせた際の性能向上が顕著に見られ、多様なタスクやモデルアーキテクチャにおいて一貫した精度と頑健性の向上を示す。

ABSTRACT

To enhance the reasoning capabilities of off-the-shelf Large Language Models (LLMs), we introduce a simple, yet general and effective prompting method, Re2, i.e., extbf{Re}- extbf{Re}ading the question as input. Unlike most thought-eliciting prompting methods, such as Chain-of-Thought (CoT), which aim to elicit the reasoning process in the output, Re2 shifts the focus to the input by processing questions twice, thereby enhancing the understanding process. Consequently, Re2 demonstrates strong generality and compatibility with most thought-eliciting prompting methods, including CoT. Crucially, Re2 facilitates a "bidirectional" encoding in unidirectional decoder-only LLMs because the first pass could provide global information for the second pass. We begin with a preliminary empirical study as the foundation of Re2, illustrating its potential to enable "bidirectional" attention mechanisms. We then evaluate Re2 on extensive reasoning benchmarks across 14 datasets, spanning 112 experiments, to validate its effectiveness and generality. Our findings indicate that, with the exception of a few scenarios on vanilla ChatGPT, Re2 consistently enhances the reasoning performance of LLMs through a simple re-reading strategy. Further analyses reveal Re2's adaptability, showing how it can be effectively integrated with different LLMs, thought-eliciting prompting, and ensemble strategies. Our code is available at \url{https://github.com/Tebmer/Rereading-LLM-Reasoning/}

研究の動機と目的

• デコーダー専用の LLM における一回の通過による推論の限界、すなわち微細なパターンや関連性を見逃す傾向があることに対処すること。
• 推論経路そのものではなく、入力質問自体を再び見直すことで、推論性能が向上するかどうかを調査すること。
• モデルアーキテクチャの変更やプロンプトの複雑さを伴わずに、推論を向上させる最小限で効果的なプロンプト戦略を開発すること。
• 異なるモデル、プロンプト手法、アンサンブル戦略との間での互換性と一般化性を評価すること。
• 単純な反復的入力再処理が、人間の認知的強化に類似した形で顕著な性能向上をもたらすことを示すこと。

提案手法

• Re-Reading (Re2) 戦略は、モデルに回答を生成する前に、入力質問を2度目として再読み込みするように明示的に指示するものである。
• この手法はプロンプト工学の技術として実装される：入力プロンプトには、最初の質問と推論指示の後に、同じ質問を繰り返したものが含まれる。
• モデルは2回の通過で入力を処理する：最初に元の質問を処理し、次に同じ質問を再読み込みすることで、より深い文脈的強化が可能になる。
• このアプローチは、Chain-of-Thought (CoT) や Tree-of-Thoughts (ToT)、自己一貫性など、既存のプロンプト手法と互換性があり、「即挿入型」モジュールとして機能する。
• 追加のサンプリングやモデル微調整、複雑な推論経路生成は不要で、単一の繰り返し入力のみで十分である。
• 再読み込みステップは、認知的強化を引き起こすように設計されており、推論の前に理解を精緻化し、誤解を是正するのを支援する。

Figure 1: Model performance versus complexity of questions. X-axis means the complexity of questions and Y-axis refers to frequency. The gray hist means the number of total cases for each complexity.

実験結果

リサーチクエスチョン

• RQ1 入力質問を複数回再処理することで、大規模言語モデルの推論性能が向上するか？
• RQ2 Chain-of-Thought などの既存の思考誘発プロンプト戦略と比較して、Re-Reading は性能と一貫性の面で優れているか？
• RQ3 Re-Reading 戦略は、CoT や ToT、自己一貫性を含む、さまざまなプロンプトパラダイムとどの程度互換性があるか？
• RQ4 Re-Reading は、算術的推論、常識的推論、記号的推論といった多様な推論タスクにおいて性能向上をもたらすか？
• RQ5 この手法は、アーキテクチャの変更なしに、さまざまな事前学習言語モデルとプロンプト手法に一般化可能か？

主な発見

• Re-Reading は複数のベンチマークで一貫した推論性能の向上を示し、特に Chain-of-Thought プロンプティングと組み合わせた際に最大の向上が見られた。
• GSM8K データセットでは、Re-Reading により CoT の精度が 54.2% から 60.1% に向上し、相対的な改善率は 10.9% であった。
• AIME データセットでは、性能が 28.7% から 32.1% に上昇し、相対的な改善率は 11.9% であった。
• この手法は算術的推論、常識的推論、記号的推論の各タスクで一貫した向上を示し、広範な適用可能性が裏付けられた。
• GPT-3.5、LLaMA-2、PaLM など複数の LLM においても有効であり、強力な互換性と一般化性を示した。
• 自己一貫性やその他のアンサンブル技術ともスムーズに統合され、追加の複雑さを伴わずに性能向上がさらに拡大した。

Figure 2: N-gram recall between the generation and the input question. We take the question and generation as the reference and hypothesis respectively.