[論文レビュー] Is ChatGPT a Good Causal Reasoner? A Comprehensive Evaluation

Jinglong Gao, Xiao Ding+2 more|arXiv (Cornell University)|May 12, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文は、ChatGPTの因果推論能力を複数のベンチマークで評価し、因果説明においては優れた能力を示すが、深刻な幻覚を示すため因果推論能力は弱いことが判明した。イン・コンテキスト・ラーニングおよびチェーン・オブ・トゥーク・プロンプティングを用いても、暗黙の因果関係や複雑な文では性能が低下し、オープンエンドドプロンプトは結果を悪化させる—これは、教師なし条件下での因果関係の推論に根本的な制限があることを示している。

ABSTRACT

Causal reasoning ability is crucial for numerous NLP applications. Despite the impressive emerging ability of ChatGPT in various NLP tasks, it is unclear how well ChatGPT performs in causal reasoning. In this paper, we conduct the first comprehensive evaluation of the ChatGPT's causal reasoning capabilities. Experiments show that ChatGPT is not a good causal reasoner, but a good causal explainer. Besides, ChatGPT has a serious hallucination on causal reasoning, possibly due to the reporting biases between causal and non-causal relationships in natural language, as well as ChatGPT's upgrading processes, such as RLHF. The In-Context Learning (ICL) and Chain-of-Thought (CoT) techniques can further exacerbate such causal hallucination. Additionally, the causal reasoning ability of ChatGPT is sensitive to the words used to express the causal concept in prompts, and close-ended prompts perform better than open-ended prompts. For events in sentences, ChatGPT excels at capturing explicit causality rather than implicit causality, and performs better in sentences with lower event density and smaller lexical distance between events. The code is available on https://github.com/ArrogantL/ChatGPT4CausalReasoning .

研究の動機と目的

• ChatGPTの因果推論能力を、複数のタスク形式およびバージョンにわたって包括的に評価すること。
• ChatGPTの因果幻覚の根本的原因を特定すること、特にトレーニングデータのバイアスとRLHFとの関係を明らかにすること。
• イン・コンテキスト・ラーニングやチェーン・オブ・トゥークなどのプロンプティング戦略が、因果推論性能に与える影響を評価すること。
• 言語的キーワード、イベント密度、語彙的距離が因果推論の正確性に与える影響を検討すること。
• オープンエンドドプロンプトがクローズドエンドドプロンプトと比較して、因果推論性能を向上させるのか、それとも、イベント抽出と推論の両方の負荷が重なって性能を低下させるのかを特定すること。

提案手法

• GPTの4バージョン（text-davinci-002, text-davinci-003, gpt-3.5-turbo, gpt-4）を用いて評価を実施した。
• 3つのベンチマークタスクを用いた：イベント因果関係同定（ECI）、複数選択および二値分類形式の因果発見（CD）、因果説明生成（CEG）。
• プロンプトのフォーマットを変化させた：クローズドエンドド（Yes/No）、オープンエンドド（自由記述）、因果キーワードを含むプロンプト。
• イン・コンテキスト・ラーニング（ICL）およびチェーン・オブ・トゥーク（CoT）プロンプティングを適用し、幻覚と正確性に与える影響を評価した。
• 厳密な指標（精度、再現率、F1スコア）を用いて性能を評価した。オープンエンドド出力については緩い一致基準を適用した。
• 因果関係の言語的表現、イベント密度、イベント間の語彙的距離への感受性を分析した。

Figure 1: The forms of three causal reasoning tasks and the prompts we use. The content that requires ChatGPT to reply is marked in red . The multiple-choice CD task also involves samples that ask for selecting the result of the input event. For such samples, we modify the “cause” in the question to

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは因果推論タスクにおいて因果説明を生成する能力と比べて、どのように性能を発揮するか？
• RQ2 イン・コンテキスト・ラーニングおよびチェーン・オブ・トゥーク・プロンプティングは、ChatGPTにおける因果幻覚をどの程度悪化させるか？
• RQ3 プロンプトに含まれる因果キーワードの選択が、因果推論の正確性にどのように影響するか？
• RQ4 ChatGPTは明示的因果関係（例：'because'、'so'）と暗黙的因果関係のどちらでより良い性能を発揮するか？また、イベント密度や語彙的距離は性能にどのように影響するか？
• RQ5 オープンエンドド生成プロンプトは因果推論を向上させるのか、それとも、イベント抽出と推論の両方の負荷が重なって性能を低下させるのか？

主な発見

• ChatGPTは因果推論能力に劣るが、因果説明の生成には優れている。これは、因果論理を推論的ではなく記述的である形で理解していることを示している。
• ChatGPTは深刻な因果幻覚を示しており、オープンエンドドプロンプトやICL・CoT技術を用いる際、性能が著しく低下する。
• モデルは明示的因果関係（例：'because'、'so'）で最も良い性能を発揮するが、常識的推論を要する暗黙的因果関係では苦戦する。
• イベント密度が増加するほど、およびイベント間の語彙的距離が長くなるほど性能が低下し、長距離依存関係の推論に困難を示す。
• オープンエンドドプロンプトではF1スコアが最低7.4まで低下し、クローズドエンドドプロンプト（F1 = 41.0）と比較して因果推論に不適切であることが示された。
• 因果発見タスクにおいて、二値分類形式は複数選択形式よりも信頼性が高く、選択肢が限られているため性能が誇張される傾向がある。

Figure 2: Prompts that express causal concepts in various ways. The content that requires ChatGPT to reply is marked in red .