[論文レビュー] An Evaluation of ChatGPT-4's Qualitative Spatial Reasoning Capabilities in RCC-8

Anthony G. Cohn|arXiv (Cornell University)|Sep 27, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、空間関係「非接続」「接している」「部分関係」などを表す標準的なフレームワークであるRCC-8微分法を用いて、ChatGPT-4の定性的空間推論能力を評価している。訓練データに豊富なQSR文献が含まれているにもかかわらず、ChatGPT-4は一貫性のないパフォーマンスを示し、合成タスクで頻繁に失敗し、特に逆関係に関して基本的な誤りを犯しており、形式的な空間推論タスクにおける信頼性が低いことが示唆される。

ABSTRACT

Qualitative Spatial Reasoning (QSR) is well explored area of Commonsense Reasoning and has multiple applications ranging from Geographical Information Systems to Robotics and Computer Vision. Recently many claims have been made for the capabilities of Large Language Models (LLMs). In this paper we investigate the extent to which one particular LLM can perform classical qualitative spatial reasoning tasks on the mereotopological calculus, RCC-8.

研究の動機と目的

• ChatGPT-4がRCC-8微分法を用いて定性的空間推論をどの程度行えるかを評価すること。
• 空間エンティティ間の合成関係を計算する能力を評価すること。これは定性的空間推論のコアタスクである。
• モデルがRCC-8関係の概念的近隣図を正しく推論できるかを調査すること。
• 特に逆関係と論理的一致性に関する、体系的な弱みを同定すること。
• モデルのパフォーマンスがQSR文献の知識に起因するのか、論理的根拠のない確率的生成に起因するのかを特定すること。

提案手法

• 本研究では、ChatGPT-4（バージョン2023年5月24日）を用いた制御された一連の単一ターン会話によって、RCC-8関係における推論をテストする。
• 各実験では、8つのRCC-8関係（例：DC、EC、PO、TPP、NTPP、EQ）の正式な定義を含むプロンプトを提示する。
• モデルに、2つの与えられた関係（例：DC(x,y) と DC(y,z)）に基づいてエンティティ間の可能な関係を計算させることで、RCC-8微分法における合成を模倣する。
• 回答は、正しさ、完全性、特に逆関係（例：TPP と TPPi）に関する一貫性について評価される。
• 評価には、既知の合成表を基準として用いた合成タスクと概念的近隣性の整合性チェックが含まれる。
• すべての会話はアーカイブされ、再現可能性のためhttps://tinyurl.com/qr23supで公開されている。

Figure 1: The eight relations of the RCC-8 calculus illustrated in 2D.

実験結果

リサーチクエスチョン

• RQ1 ChatGPT-4はどの程度、2つのRCC-8関係の合成を正しく計算できるか？
• RQ2 TPP(x,y) と TPPi(x,y) を区別する必要がある場合、ChatGPT-4は一貫して関係の逆を適用できるか？
• RQ3 正解が分かっているにもかかわらず、合成タスクで誤ったまたは不完全な回答を出す頻度はどの程度か？
• RQ4 モデルは合成表のセルに含まれるすべての可能な関係を正しく特定できるか、それとも有効な選択肢を頻繁に見逃すか？
• RQ5 より複雑で文脈豊かなプロンプトを用いることで、モデルのパフォーマンスが向上するか、それとも根本的に一貫性のないままであるか？

主な発見

• ChatGPT-4は、基本的な関係ペアに対しても、RCC-8微分法における合成を正しく計算することができないことが頻繁に見られる。
• モデルはしばしば誤った、または不完全な可能な関係の集合を生成し、合成表からの有効な選択肢を省略することがある。
• モデルは一貫性のない推論を示し、ある関係については正しく処理できるが、その逆関係が提示された場合には失敗することがある。
• モデルは関係とその逆関係を混同することがあり、関係の対称性に対する理解が乏しいことが示唆される。
• QSR文献の訓練を経ているにもかかわらず、モデルは論理的な空間推論を信頼性を持って行えないため、知識の根拠づけに限界があることが示唆される。
• 標準的なプロンプトでもパフォーマンスは最適ではなく、チェーン・オブ・トゥークやファインチューニングによる改善も、根本的な推論の欠陥を完全に補うことは unlikely である。

Figure 2: The RCC-8 Composition Table (Cohn et al. 1997 )