[論文レビュー] Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models

Man Luo, Shrinidhi Kumbhar+6 more|arXiv (Cornell University)|Oct 2, 2023

Semantic Web and Ontologies被引用数 5

ひとこと要約

本稿では、演繹的・帰納的・帰謬的推論を含む24の多様な論理的推論データセットを統一されたSeq2Seqタスクに標準化し、一貫した訓練と評価を可能にする包括的ベンチマーク「LogiGLUE」を紹介する。また、15,000件の訓練サンプルを用いた思考の道筋（chain-of-thought）推論からの知識蒸留を経て、ドメイン内およびドメイン外の推論タスクで優れた性能を達成する微調整モデル「LogiT5」を提案する。

ABSTRACT

Logical reasoning is fundamental for humans yet presents a substantial challenge in the domain of Artificial Intelligence. Initially, researchers used Knowledge Representation and Reasoning (KR) systems that did not scale and required non-trivial manual effort. Recently, the emergence of large language models (LLMs) has demonstrated the ability to overcome various limitations of formal Knowledge Representation (KR) systems. Consequently, there's a growing interest in using LLMs for logical reasoning via natural language. This work strives to understand the proficiency of LLMs in logical reasoning by offering a brief review of the latest progress in this area; with a focus on the logical reasoning datasets, tasks, and the methods adopted to utilize LLMs for reasoning. To offer a thorough analysis, we have compiled a benchmark titled LogiGLUE. This includes 24 varied datasets encompassing deductive, abductive, and inductive reasoning. Utilizing LogiGLUE as a foundation, we have trained an instruction fine-tuned language model, resulting in LogiT5. We study single-task training, multi-task training, and "chain-of-thought" knowledge distillation fine-tuning technique to assess the performance of model across the different logical reasoning categories. We also assess various LLMs using LogiGLUE, and the findings indicate that LLMs excel most in abductive reasoning, followed by deductive reasoning, while they are least effective at inductive reasoning. We aim to shed light on the capabilities and potential pathways for enhancing logical reasoning proficiency in LLMs, paving the way for more advanced and nuanced developments in this critical field.

研究の動機と目的

• 既存のデータセット、タスク、手法を体系的に調査することで、大規模言語モデル（LLM）における論理的推論能力の現状を評価すること。
• LLMにおける論理的推論のための標準化された評価ベンチマークの不足に応じ、24の多様なデータセットを統合した統一ベンチマーク「LogiGLUE」を構築すること。
• 特に思考の道筋プロンプトを用いた、命令微調整および知識蒸留技術を通じて、LLMの推論性能を向上させること。
• ドメイン外の推論タスクにおけるLLMの一般化能力を評価し、ゼロショット推論における限界を特定すること。
• LogiGLUEベンチマークおよびLogiT5モデルをオープンソースで提供し、論理的推論分野における今後の研究を加速すること。

提案手法

• 著者らは、演繹的・帰納的・帰謬的推論を含む多様な推論タイプをカバーする24の既存論理的推論データセットを、統一されたSeq2Seq形式に変換し、訓練と評価の標準化を図った。
• 単一タスク、マルチタスク、および思考の道筋（CoT）知識蒸留戦略を用いて、Flan-T5モデルをLogiGLUEで微調整し、推論カテゴリごとの性能を評価した。
• CoT蒸留のため、LLaMA-7Bを用いてLogiQAデータセット上で推論トレースを生成し、正解を伴うサンプルを選別して、3,000、6,000、および15,000件の訓練セットをそれぞれ作成した。
• CoT微調整の安定化を図るため、初期の高い起動学習率（3e-4）と長期間の訓練（40エポック）を採用し、CoTデータ量の増加に伴い性能が向上することを観察した。
• ドメイン外一般化の評価のため、ゼロショットプロンプティングを「ステップバイステップで考えましょう」という形で適用し、LLaMA-2の出力に対してConceptNetを用いて同義語をマッチングして評価した。
• Flan-T5とLLaMA-2の両モデルについて、LogiGLUE（ドメイン内）およびReClor、Winogrande、BigBench、PrOntoQA-OOD（ドメイン外）のデータセットで性能を評価し、正確一致および同義語マッチングを用いて評価を行った。

Figure 1: Logical Reasoning Survey: Datasets and Language Model Application.

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、多様でドメイン外のデータセットに論理的推論スキルを一般化できるか。また、ゼロショット能力における限界は何か。
• RQ2 思考の道筋知識蒸留は論理的推論性能の向上にどの程度有効か。また、蒸留用のCoT訓練データ量が増加するにつれてモデル性能は向上するか。
• RQ3 LogiGLUE上でマルチタスク微調整を施すことで、単一タスクまたは微調整なしのベースラインに比べて推論性能が向上するか。
• RQ4 特に分布外設定において、LLMは真の論理的推論ではなく、記憶された知識や事実の検索に依存している程度はどの程度か。
• RQ5 「ステップバイステップで考えましょう」といったプロンプティング戦略は、Flan-T5 や LLaMA-2 といった異なるモデルにおいて、推論性能にどのように影響を与えるか。

主な発見

• LogiT5はドメイン内ベンチマークであるLogiGLUEで平均51.24%の正答率を達成し、多様な推論タイプにわたる強力な性能を示した。
• ドメイン外一般化は限定的であった：LLaMA-2はPrOntoQA-OODで6.50%、WaNLIで15.54%の正答率にとどまり、未学習タスクにおけるゼロショット推論の劣化が顕著に現れた。
• 15,000件のCoTサンプルを用いた場合、思考の道筋蒸留により性能が4%向上した。これは、高品質で大規模な推論データがモデルの一般化能力を向上させることを示している。
• 3,000および6,000件のCoTサンプルを用いた蒸留は、ベースライン微調整より性能向上が見られなかった。これは、蒸留効果を得るにはデータ量が不可欠であることを示唆している。
• Flan-T5は、命令微調整およびテンプレートベースの生成スタイルのおかげで、構造化されたベンチマークでLLaMA-2を上回った。これは、より信頼性の高い評価が可能になったことを示している。
• 手動分析の結果、LLaMA-2はしばしば同義語に基づく回答を生成するか、入力を無視する傾向にあり、文脈からの推論ではなく記憶された知識に依存していることが明らかになった。

Figure 2: Examples (top) of three types of logical reasoning and explanations (bottom) correlating each example with its respective reasoning type.