[論文レビュー] Are Large Language Models Really Good Logical Reasoners? A Comprehensive Evaluation and Beyond

Fangzhi Xu, Qika Lin+4 more|arXiv (Cornell University)|Jun 16, 2023

Topic Modeling被引用数 10

ひとこと要約

本論文は、15の論理推論データセットに対して、3つの主要なLLM（text-davinci-003、ChatGPT、BARD）を演繹、帰納、仮説推論、混合形式の多次元評価で検証し、細かな指標と中立的コンテンツベンチマーク NeuLR を導入して、正確さを超えた推論品質を分析します。

ABSTRACT

Logical reasoning consistently plays a fundamental and significant role in the domains of knowledge engineering and artificial intelligence. Recently, Large Language Models (LLMs) have emerged as a noteworthy innovation in natural language processing (NLP). However, the question of whether LLMs can effectively address the task of logical reasoning, which requires gradual cognitive inference similar to human intelligence, remains unanswered. To this end, we aim to bridge this gap and provide comprehensive evaluations in this paper. Firstly, to offer systematic evaluations, we select fifteen typical logical reasoning datasets and organize them into deductive, inductive, abductive and mixed-form reasoning settings. Considering the comprehensiveness of evaluations, we include 3 early-era representative LLMs and 4 trending LLMs. Secondly, different from previous evaluations relying only on simple metrics (e.g., \emph{accuracy}), we propose fine-level evaluations in objective and subjective manners, covering both answers and explanations, including \emph{answer correctness}, \emph{explain correctness}, \emph{explain completeness} and \emph{explain redundancy}. Additionally, to uncover the logical flaws of LLMs, problematic cases will be attributed to five error types from two dimensions, i.e., \emph{evidence selection process} and \emph{reasoning process}. Thirdly, to avoid the influences of knowledge bias and concentrate purely on benchmarking the logical reasoning capability of LLMs, we propose a new dataset with neutral content. Based on the in-depth evaluations, this paper finally forms a general evaluation scheme of logical reasoning capability from six dimensions (i.e., \emph{Correct}, \emph{Rigorous}, \emph{Self-aware}, \emph{Active}, \emph{Oriented} and \emph{No hallucination}). It reflects the pros and cons of LLMs and gives guiding directions for future works.

研究の動機と目的

• 大規模言語モデルがコアとなる推論タイプ（演繹、帰納、仮説推論、混合）で高い信頼性のある推論を行えるかを評価する。
• 正確さだけでなく、説明と推論品質を含む細かな評価を提供する。
• 客観的および主観的指標を通じて、LLMの一般的な推論の欠陥と誤りタイプを特定する。
• 推論を内容の親しみや偏りから切り離す中立コンテンツベンチマーク（NeuLR）を提案する。

提案手法

• 3つの代表的なLLM（text-davinci-003、ChatGPT、BARD）を選択し、15の論理推論データセットで評価する。
• データセットを4つの設定に分ける：演繹、帰納、仮説推論、混合形式の推論。
• 各データセットに対してゼロショット、ワンショット、スリーショットのプロンプティング規程を適用する。
• 細かな指標を使用する：回答の正確さ、説明の正確さ、説明の網羅性、説明の冗長性。
• 誤りを2つの次元で注記する：証拠選択（誤選択、幻視）と推論過程（推論なし、視点の誤り、過程の誤り）。
• 中立的コンテンツデータセット NeuLR を導入し、演繹・帰納・仮説推論を含むサンプルで内容バイアスを低減する。

Figure 1 : The overall architecture of the evaluation.

実験結果

リサーチクエスチョン

• RQ1 LLMs は演繹、帰納、仮説推論、混合形式タスク全般で一貫して論理推論問題を解けるか？
• RQ2 細かな指標（説明品質、冗長性、自己認識）が、正確さだけでは捉えられない弱点を明らかにするか？
• RQ3 推論の主要な誤りタイプは何で、証拠選択と推論プロセスが失敗にどう寄与するか？
• RQ4 NeuLR のような中立コンテンツベンチマークは、LLMの真の論理推論能力をより公平に評価するのに役立つか？

主な発見

• LLMs は SOTA ベンチマークと比較して論理推論において大幅に改善の余地があり、データセットごとに性能が異なる。
• BARD は演繹・帰納・仮説推論の設定全般で優れた能力を示す一方、ChatGPT は純粋な推論タスクでの性能が劣ることが多いが、混合形式設定では優れることがある。
• Few-shot の文脈内学習は論理推論を一貫して改善しない場合が多く、データセットと設定に依存する利点がある。
• 分類タスクは生成タスクより良い結果を得やすく、生成は純粋な推論タスクでの性能が低下することが多い。
• 厳密な推論（正解と正確かつ完全な説明）はモデルと設定によって異なり、仮説推論はしばしばより良い推論痕跡を引き出す一方、演繹・帰納設定はより困難が残る。
• 自己認識（冗長性）の分析はモデル間で差を示し、設定とタスクに応じてより簡潔な説明を生成するモデルと、より冗長な説明を生成するモデルが見られる。
• 推論能力を要約する6次元評価スキーム（正確、厳密、自己認識、アクティブ、指向、幻視なし）を提案する。
• NeuLR は中立的コンテンツベンチマークを提供し、推論能力を内容の習熟度やトレーニングデータのバイアスから切り離す。

Figure 2 : An example of using an LLM to answer reasoning questions. The red words represent the generated results, while the blue ones represent the generated explanations.