[論文レビュー] Causal-Discovery Performance of ChatGPT in the context of Neuropathic Pain Diagnosis

Ruibo Tu, Chao Ma+1 more|arXiv (Cornell University)|Jan 24, 2023

Artificial Intelligence in Healthcare and Education被引用数 16

ひとこと要約

この論文は、ニューラギー障害性疼痛の診断における因果発見の質問に対するChatGPTの回答をサンプリングベースのベンチマークで評価し、限られた一貫性のない性能と顕著な偽陰性および言語/概念の制限を示す。

ABSTRACT

ChatGPT has demonstrated exceptional proficiency in natural language conversation, e.g., it can answer a wide range of questions while no previous large language models can. Thus, we would like to push its limit and explore its ability to answer causal discovery questions by using a medical benchmark (Tu et al. 2019) in causal discovery.

研究の動機と目的

• ChatGPT が医療分野（神経障害性疼痛）における因果発見の質問に答える能力を評価する。
• 観察データではなくメタ情報を用いて、ChatGPT が因果関係についての質問にどう答えるかを分析する。
• ChatGPT の回答における制限、整合性の問題、言語・概念の理解ギャップを特定する。

提案手法

• 神経障害性疼痛の因果マップから true causal pairs 50件と false pairs 50件をサンプリングしてベンチマークを作成する。
• 質問を『X が Y を引き起こす。Answer true or false』の形で、可変対を使用してフォーマットする。
• stated relationship を true か false かであるか ChatGPT に問いかける。
• 精度、再現率、F-score を分析する。
• 定性的および定量的な誤りを検査し、制限のパターンを特定する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT は、メタ情報のみから神経障害性疼痛の因果マップにおける真の因果関係を信頼性をもって識別できるか？
• RQ2 ChatGPT の因果判断における一般的な誤りモード（例：偽陰性、言語/地域の解釈の誤り）は何か？
• RQ3 繰り返しの質問や言語・用語間で、ChatGPT の回答はどれくらい一貫しているか？

主な発見

• ChatGPT は、検討された因果判断で高い精度を示すが、再現率は低い。
• 報告された混同行列には偽陽性はないが、いくつかの偽陰性が全体の性能を低下させる。
• 回答は日によって異なり、不安定さとモデル更新の影響を示唆している。
• ChatGPT は区域解剖学の説明（例：T12 の関与）や非英語の用語に苦戦し、誤分類に寄与している。
• いくつかの問いは合理的または非自明な正答を生むため、因果発見タスクの補完的使用の可能性を示唆している。
• 全体として、因果発見における現行のChatGPTの性能は限られており、決定的な因果主張には信頼できない。