[論文レビュー] LogiCoT: Logical Chain-of-Thought Instruction-Tuning

Hanmeng Liu, Zhiyang Teng+4 more|arXiv (Cornell University)|May 20, 2023

Topic Modeling被引用数 4

ひとこと要約

LogiCoTは、GPT-4を用いて生成された多様で多段階の推論例を備えた大規模でインstructチューニングされたデータセットを紹介する。LLaMA-7bをLogiCoTで微調整することで、論理的推論ベンチマークにおける性能が顕著に向上し、LogiEvalでは40.7%、MMLUでは43.3%のスコアを達成し、最先端のインstructチューニングモデルを上回った。

ABSTRACT

Generative Pre-trained Transformer 4 (GPT-4) demonstrates impressive chain-of-thought reasoning ability. Recent work on self-instruction tuning, such as Alpaca, has focused on enhancing the general proficiency of models. These instructions enable the model to achieve performance comparable to GPT-3.5 on general tasks like open-domain text generation and paraphrasing. However, they fall short of helping the model handle complex reasoning tasks. To bridge the gap, this paper presents LogiCoT, a new instruction-tuning dataset for Logical Chain-of-Thought reasoning with GPT-4. We elaborate on the process of harvesting instructions for prompting GPT-4 to generate chain-of-thought rationales. LogiCoT serves as an instruction set for teaching models of logical reasoning and elicits general reasoning skills.

研究の動機と目的

• オープンソースのLLMにおける多様で複雑な論理的推論のインstructデータの不足に対処すること。
• GPT-4のようなプロプライエタリモデルとオープンソースモデルとの間の、多段階論理的推論におけるギャップを埋めること。
• GPT-4を用いて高品質なCoT推論データを生成するスケーラブルで自己教師ありの手法を開発すること。
• 豊富な論理的推論データを用いたインストラクションチューニングが、小型LLMの専門的および一般論理的推論能力の両方を向上させることを実証すること。
• コミュニティ利用およびさらなる研究のため、LogiCoTデータセットおよび微調整済みLLaMA-7bモデルを公開すること。

提案手法

• 既存の論理的推論データセットを提示することで、GPT-4にチェーン・オブ・トゥーク（CoT）の推論を生成させた。
• 既存の論理的推論データを再利用し、GPT-4を用いて構造的で多段階の推論出力を生成することで、多様なインストラクションチューニングデータセットを構築した。
• 言語から論理へのマッピング、1ステップの推論、推論チェーン、および選択肢付き推論をカバーするインストラクションテンプレートを設計した。
• 記号的推論および複雑な多段階論理的推論にわたる7万件のトレーニングインスタンスを収集した。
• 標準的なインストラクションチューニング目的関数を用いて、LogiCoTデータセットでLLaMA-7bモデルを微調整し、推論一般化能力を向上させた。
• 各推論タイプのモデル全体パフォーマンスへの寄与度を評価するためにアブレーションスタディを実施した。

Figure 1: A showcase of using GPT-4 and existing inference data to generate CoT rationales for logical reasoning.

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、インストラクションチューニングに適した高品質で多様なチェーン・オブ・トゥーク推論例を効果的に生成できるか？
• RQ2 論理的推論に特化したデータセットを用いたインストラクションチューニングは、モデルの推論ベンチマークパフォーマンスにどのように寄与するか？
• RQ3 推論タイプ（例：推論チェーン、選択肢付き推論）の相対的な寄与度は、全体の推論パフォーマンスにどのように影響するか？
• RQ4 LLaMA-7bのような小型のオープンウェイトLLMが、専用CoTデータセットで微調整された場合、どの程度競争力のある推論パフォーマンスを達成できるか？
• RQ5 LogiCoTデータセットは、専門的な論理的推論に加え、より広範な人間中心のベンチマークにも一般化可能か？

主な発見

• LogiCoTでインストラクションチューニングされたLLaMA-7bモデルは、LogiEvalベンチマークで40.7%の正答率を達成し、以前のインストラクションチューニングモデルを顕著に上回った。
• MMLUベンチマークでは43.3%の正答率に達し、多様な推論タスクへの強力な一般化能力を示した。
• アブレーションスタディの結果、'推論チェーン'推論を除いた場合、LogiEvalで30.8%のパフォーマンス低下が生じ、多段階推論におけるその重要性が浮き彫りになった。
• MMLUにおいては、'選択肢付き推論'タイプを除いた場合、正答率が30.9%に低下し、複数選択肢の論理的タスクにおけるその重要性が示された。
• 事例スタディでは、正解ケースでは一貫した推論を生成するが、複雑な問題では誤った制約を導入したり、選択肢の評価を飛ばすことがあることが明らかになった。
• モデルのパフォーマンスはGPT-4に及ばないが、オープンソース推論モデルの強力なベースラインを確立した。

Figure 2: An instance from the LogicInference dataset.