[論文レビュー] Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs

Shrivats Agrawal|arXiv (Cornell University)|Mar 22, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本研究では、キュレートされたデータセットと自然言語プロンプトを用いて、大規模言語モデル（LLMs）のドメインに依存しない推論能力を、類似性推論、空間的推論、道徳的推論のタスクで評価する。結果として、類似性推論と道徳的推論では優れたパフォーマンスを示したが、空間的推論では顕著な困難を示しており、LLMsがすべての推論タイプにおいて普遍的に優れているわけではないことが示された。

ABSTRACT

The potential of large language models (LLMs) to reason like humans has been a highly contested topic in Machine Learning communities. However, the reasoning abilities of humans are multifaceted and can be seen in various forms, including analogical, spatial and moral reasoning, among others. This fact raises the question whether LLMs can perform equally well across all these different domains. This research work aims to investigate the performance of LLMs on different reasoning tasks by conducting experiments that directly use or draw inspirations from existing datasets on analogical and spatial reasoning. Additionally, to evaluate the ability of LLMs to reason like human, their performance is evaluted on more open-ended, natural language questions. My findings indicate that LLMs excel at analogical and moral reasoning, yet struggle to perform as proficiently on spatial reasoning tasks. I believe these experiments are crucial for informing the future development of LLMs, particularly in contexts that require diverse reasoning proficiencies. By shedding light on the reasoning abilities of LLMs, this study aims to push forward our understanding of how they can better emulate the cognitive abilities of humans.

研究の動機と目的

• LLMsが類似性、空間的、道徳的推論といった多様な推論ドメインにおいて同等に機能できるかどうかを調査すること。
• 構造化されたデータセットとオープンエンドの自然言語質問の両方を用いて、LLMsの人的推論能力を評価すること。
• LLMsの推論における強みと弱みを特定し、将来のモデル開発および実世界への展開を支援すること。
• SpartQAをインspiredとして、制御された空間的推論データセットを構築すること。
• GPT-3 davinci-003とChatGPTといった異なるLLMsの、閉じた本形式と会話形式の両方で推論タスクに対するパフォーマンスを比較すること。

提案手法

• 200個のクローズド形式の質問を含む、制御された類似性推論ベンチマークを構築するため、BATSデータセットの語彙的意味論に焦点を当てたサブセットを用いた。
• 物体の配置のテクスト記述に基づいて、自社で開発した空間的推論データセットを構築し、真偽予測を伴うテクストエンタイルメントタスクとしてフレームする。
• GPT-3 davinci-003を用いて閉じた本形式の制御評価を実施し、ChatGPTを用いてオープンエンドの会話形式の推論タスクを実施した。
• 類似性および道徳的推論に関する自由形式の自然言語質問を収集・評価し、質的推論能力を評価した。
• モデルの回答は、閉じた形式のタスクでは正確一致を、オープンエンドのプロンプトでは質的評価を用いた。
• すべてのタスクに対して一貫したプロンプトフォーマットを適用し、各タスクを明確な入出力要件を持つ推論課題としてフレームした。

Figure 1: Spatial Reasoning: Visualization of Controlled Dataset Example

実験結果

リサーチクエスチョン

• RQ1 LLMsは、類似性、空間的、道徳的推論といった異なる推論ドメインにわたり、その推論能力を一般化できるか？
• RQ2 LLMsは、構造的で閉じた形式の推論タスクと、オープンエンドで会話形式の推論プロンプトとで、どのようにパフォーマンスを示すか？
• RQ3 LLMsは類似性および道徳的推論においてどの程度人的推論を示し、どこで不足しているか？
• RQ4 テキスト入力にのみ依存する場合、現在のLLMsの空間的推論における限界は何か？
• RQ5 推論タイプごとに推論能力の差が生じるか。その場合、その要因は何か？

主な発見

• LLMsは類似性推論において優れたパフォーマンスを示し、BATSデータセットの語彙的意味論サブセットで高い正確性を達成した。
• LLMsは、複雑な概念を類似性を用いて説明するなど、オープンエンドの自然言語質問において一貫性があり、整合性のある推論を示した。
• LLMsは空間的推論タスクにおいて顕著な困難を示し、特にテクスト記述に基づく物体関係の正しく予測できない点が顕著だった。
• 類似性／道徳的推論と空間的推論の間のパフォーマンス格差は、LLMsが強力な言語一般化能力を備えながらも、空間的理解が乏しいことを示唆している。
• 道徳的推論タスクでは、LLMsが倫理的配慮を反映した洗練された、文脈に即した回答を提供したが、AIとしての性質上、個人的な立場を取ることは避けていた。
• 道徳的ジレンマに対する質的応答から、LLMsが複雑な倫理的妥協を推論できることが明らかになったが、中立性と個人的価値の欠如により、回答が制限されていた。

Figure 2: Spatial Reasoning: Visualization of the layout of house described via textual description