[論文レビュー] Solving Math Word Problems via Cooperative Reasoning induced Language Models

Xinyu Zhu, Junjie Wang+5 more|arXiv (Cornell University)|Oct 28, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文では、推論経路の生成に生成器（システム1）を用い、推論中における段階的フィードバックを検証者（システム2）で行うことで、人間の二重プロセス的認知を模倣する協調的推論フレームワークCoReを提案する。モンテカルロ木探索（MCTS）にインspiredされたループ内で、トークンレベルおよび文レベルの検証者を統合することにより、推論品質が向上し、MultiArithで最先端モデルを9.6%相対的に上回る結果を達成している。これは、より小さなモデルでも実現可能である。

ABSTRACT

Large-scale pre-trained language models (PLMs) bring new opportunities to challenging problems, especially those that need high-level intelligence, such as the math word problem (MWPs). However, directly applying existing PLMs to MWPs can fail as the generation process lacks sufficient supervision and thus lacks fast adaptivity as humans. We notice that human reasoning has a dual reasoning framework that consists of an immediate reaction system (system 1) and a delicate reasoning system (system 2), where the entire reasoning is determined by their interaction. This inspires us to develop a cooperative reasoning-induced PLM for solving MWPs, called Cooperative Reasoning (CoRe), resulting in a human-like reasoning architecture with system 1 as the generator and system 2 as the verifier. In our approach, the generator is responsible for generating reasoning paths, and the verifiers are used to supervise the evaluation in order to obtain reliable feedback for the generator. We evaluate our CoRe framework on several mathematical reasoning datasets and achieve decent improvement over state-of-the-art methods, up to 9.6% increase over best baselines. Our codes are available at https://github.com/TianHongZXY/CoRe

研究の動機と目的

• 数学的単語問題（MWPs）を解く際、既存の大規模言語モデル（LLMs）に見られる一般化能力および適応性の欠如に対処すること。
• 神経モデルにおいて、直感的（システム1）と熟考的（システム2）な人間の二重プロセス的推論を模倣すること。
• 生成段階の途中にフィードバックを導入することで、最終的な答えの段階でのみ評価するのではなく、推論経路の質を向上させること。
• 自己思考戦略を用いて、外部の教師データを必要としない自己教師的推論経路を高品質に生成することで、ゼロショットおよびファインチューニング推論を可能にすること。

提案手法

• フレームワークは、生成器（システム1）を用いて、逐次的な確率的意思決定としてモデル化されたトークン単位の推論経路を生成する。
• 生成中にリアルタイムで推論ステップをスコアリングするため、トークンレベルおよび文レベルの2種類の検証者を導入する。
• 検証者がMCTSスタイルの木探索を通じてフィードバックを提供することで、高品質な推論経路の動的評価と選択が可能になる。
• 生成が論理的整合性と正しさの両面で整合するように、推論経路のPerplexityと解答スコアの両方を組み合わせた学習目的を採用する。
• CoRe自身の生成器と検証者から得られる合成データを用いた自己思考戦略を適用することで、外部の教師信号を必要とせず、推論能力を向上させる。
• フィードバックが検証者から生成器に繰り返しフィードバックされる閉ループ生成プロセスを採用し、最終的な答えを確定する前に段階的に改善を図る。

実験結果

リサーチクエスチョン

• RQ1 人間の二重プロセス的認知を模倣する協調的推論フレームワークは、数学的単語問題における推論パフォーマンスを向上させることができるか？
• RQ2 推論経路生成中にリアルタイムでフィードバックを提供することで、最終シーケンス評価と比較して、モデルの一般化能力および正確性はどのように向上するか？
• RQ3 この協調的検証メカニズムを用いることで、非常に大きなモデルよりも小さな言語モデルがどれほど優れた性能を発揮できるか？
• RQ4 モデルが生成したデータに基づく自己思考は、大規模なアノテート済みデータセットを必要とせず、推論能力を向上させることができるか？

主な発見

• CoReは、より小さなモデルを使用しているにもかかわらず、MultiArithデータセットで最も優れた既存のベースラインを9.6%相対的に上回り、強力な一般化能力を示している。
• 本フレームワークは、複数の数学的推論データセットにおいて、ゼロショットおよびファインチューニング設定の両方で、標準的なPLMsを著しく上回っている。
• トークンレベルおよび文レベルの検証者の統合により、誤った推論経路の早期検出が可能になり、最終的な答えの正しさに依存するのを減らすことができる。
• 自己思考戦略により推論能力が向上し、モデルが自らの推論の誤りを是正できることを、定性的な例から示している。
• 本手法はデータセット間で一般化可能である：未知の算術データセットにおけるゼロショット性能は、推論スキルの転送性を確認している。
• GSM8Kからたった7.5Kのトレーニングサンプルしか使用していないにもかかわらず、CoReは強力な推論転送性能を示しており、推論タスクへの適応に低データ効率であることが示唆されている。