[論文レビュー] Beyond Accuracy: Evaluating the Reasoning Behavior of Large Language Models -- A Survey

Philipp Mondorf, Barbara Plank|arXiv (Cornell University)|Apr 2, 2024

Natural Language Processing Techniques被引用数 12

ひとこと要約

タスク精度を超えたLLMの推論を包括的に調査し、現在のモデルが真の推論ではなく表面的なパターンに依存していることを示唆する方法論と知見をレビューし、評価手法の分類を提案する。

ABSTRACT

Large language models (LLMs) have recently shown impressive performance on tasks involving reasoning, leading to a lively debate on whether these models possess reasoning capabilities similar to humans. However, despite these successes, the depth of LLMs' reasoning abilities remains uncertain. This uncertainty partly stems from the predominant focus on task performance, measured through shallow accuracy metrics, rather than a thorough investigation of the models' reasoning behavior. This paper seeks to address this gap by providing a comprehensive review of studies that go beyond task accuracy, offering deeper insights into the models' reasoning processes. Furthermore, we survey prevalent methodologies to evaluate the reasoning behavior of LLMs, emphasizing current trends and efforts towards more nuanced reasoning analyses. Our review suggests that LLMs tend to rely on surface-level patterns and correlations in their training data, rather than on sophisticated reasoning abilities. Additionally, we identify the need for further research that delineates the key differences between human and LLM-based reasoning. Through this survey, we aim to shed light on the complex reasoning processes within LLMs.

研究の動機と目的

• 現在のLLMsが多様なコア推論タスク（論理、数学、因果）でどのように振る舞うかを評価する。
• LLMの推論行動を分析するための普及している評価方法を調査する。
• 推論行動と推論性能を区別して、基盤となるプロセスを明らかにする。

提案手法

• 推論タスクをコアと統合に分類し、コアタスク（論理、数学、因果）に焦点を当てる。
• 3つの領域にまたがる、タスク精度を超えた推論行動を評価する研究をレビューする。
• 結論ベース、根拠ベース、対話型、および機構的評価の分類法を提案する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 現在のLLMsは多様な推論タスクでどのように振る舞うか？
• RQ2 RQ2: 大規模言語モデルの推論行動を評価するために用いられる普及している評価方法は何か？

主な発見

• LLMsは真の推論というより表面的なパターンや相関に依存する傾向がある。
• 推論性能はタスク文脈の小さな変化や分布シフトで低下することがある。
• 概念的な誤りや論理、数学、因果推論の限界を示す研究がいくつかあり、特に反実仮想的状況で顕著である。
• 推論行動の評価法の分類を提案し、結論ベース、根拠ベース、対話型、機械論的アプローチを強調する。
• 機械論的分析は、推論中に層や経路間で内部処理が異なることを示している。