[論文レビュー] Measuring reasoning capabilities of ChatGPT

Adrian Groza|arXiv (Cornell University)|Oct 8, 2023

Artificial Intelligence in EducationComputer Science被引用数 3

ひとこと要約

本稿は、MALOGAライブラリから抽出された100の論理パズルから構成されるキュレートされたベンチマークを用い、Prover9およびMace4を用いた形式的検証により、ChatGPTの推論能力を評価する。正しくかつ妥当に説明された回答はわずか7%にとどまり、平均して1つの解答につき7つの論理的誤りを含んでおり、生成されたテキストの26.03%が欠陥のあるものと分類された。これは、根拠のない主張や一貫性のない論理といった、体系的な推論エラーを示している。

ABSTRACT

I shall quantify the logical faults generated by ChatGPT when applied to reasoning tasks. For experiments, I use the 144 puzzles from the library \url{https://users.utcluj.ro/~agroza/puzzles/maloga}~\cite{groza:fol}. The library contains puzzles of various types, including arithmetic puzzles, logical equations, Sudoku-like puzzles, zebra-like puzzles, truth-telling puzzles, grid puzzles, strange numbers, or self-reference puzzles. The correct solutions for these puzzles were checked using the theorem prover Prover9~\cite{mccune2005release} and the finite models finder Mace4~\cite{mccune2003mace4} based on human-modelling in Equational First Order Logic. A first output of this study is the benchmark of 100 logical puzzles. For this dataset ChatGPT provided both correct answer and justification for 7\% only. %, while BARD for 5\%. Since the dataset seems challenging, the researchers are invited to test the dataset on more advanced or tuned models than ChatGPT3.5 with more crafted prompts. A second output is the classification of reasoning faults conveyed by ChatGPT. This classification forms a basis for a taxonomy of reasoning faults generated by large language models. I have identified 67 such logical faults, among which: inconsistencies, implication does not hold, unsupported claim, lack of commonsense, wrong justification. The 100 solutions generated by ChatGPT contain 698 logical faults. That is on average, 7 fallacies for each reasoning task. A third ouput is the annotated answers of the ChatGPT with the corresponding logical faults. Each wrong statement within the ChatGPT answer was manually annotated, aiming to quantify the amount of faulty text generated by the language model. On average, 26.03\% from the generated text was a logical fault.

研究の動機と目的

• 多様な形式的論理パズルにおけるChatGPTの推論信頼性を評価すること。
• LLMの推論を評価するための100問の非グラフィカル論理パズルからなるベンチマークデータセットを構築すること。
• LLMが出力する回答における論理的推論誤りを分類・定量すること。
• 将来のモデルの評価と改善に役立てるため、誤った推論の例をアノテートすること。

提案手法

• MALOGAライブラリから144のパズルを選定し、図形入力を含むものを除き、100問のベンチマークに集約した。
• 正解の形式的検証に、Equational First-Order Logicで動作するProver9およびMace4を用いた。
• ChatGPT-3.5に標準的なプロンプトを提示し、全回答を収集した。
• 手作業で各回答をアノテートし、根拠のない主張や一貫性のない含意などの論理的誤りを特定・分類した。
• 欠陥を含むテキストの割合を測定し、1解答あたりの平均論理的誤謬数を計算した。
• 繰り返し現れる誤りパターンに基づき、67種類の異なる推論誤りの分類法を開発した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、多様な形式的論理パズルをどの程度正しく解けるか？
• RQ2 LLMが出力する解答に一般的に見られる論理的推論誤りの種類は何か？
• RQ3 LLMの推論出力において、論理的不一致や根拠のない主張はどの程度広がっているか？
• RQ4 標準化された論理パズルベンチマークを用いて、LLMの推論能力を評価・比較できるか？

主な発見

• 100問のベンチマークパズルに対するChatGPTの回答のうち、正しくかつ完全に妥当な説明がなされたのはわずか7%にとどまった。
• 平均して1つの解答につき7つの論理的誤りを含んでおり、全100件の回答で合計698件の誤りが確認された。
• ChatGPTが生成したテキストの約26.03%が論理的誤りを含むと分類された。
• 本研究では、一貫性の欠如、根拠のない主張、誤った正当化を含む、合計67種類の異なる推論誤りが同定された。
• 100問のパズルからなるベンチマークデータセットは公開されており、単なる四則演算やパターンマッチングを超えたLLMの推論能力を試すために設計されている。
• 推論誤りの分類法は、将来のLLMの体系的評価と改善の基盤を提供する。