[論文レビュー] ChatGPT (Feb 13 Version) is a Chinese Room

Maurice HT Ling|arXiv (Cornell University)|Feb 19, 2023

Artificial Intelligence in Healthcare and Education被引用数 13

ひとこと要約

この論文は、ChatGPT（Feb 13版）が中国語の部屋のように振る舞い、因果推論の誤り、潜在的な幻覚、学習有用性を制限する虚偽の参照を示すと主張します。

ABSTRACT

ChatGPT has gained both positive and negative publicity after reports suggesting that it is able to pass various professional and licensing examinations. This suggests that ChatGPT may pass Turing Test in the near future. However, a computer program that passing Turing Test can either mean that it is a Chinese Room or artificially conscious. Hence, the question of whether the current state of ChatGPT is more of a Chinese Room or approaching artificial consciousness remains. Here, I demonstrate that the current version of ChatGPT (Feb 13 version) is a Chinese Room. Despite potential evidence of cognitive connections, ChatGPT exhibits critical errors in causal reasoning. At the same time, I demonstrate that ChatGPT can generate all possible categorical responses to the same question and response with erroneous examples; thus, questioning its utility as a learning tool. I also show that ChatGPT is capable of artificial hallucination, which is defined as generating confidently wrong replies. It is likely that errors in causal reasoning leads to hallucinations. More critically, ChatGPT generates false references to mimic real publications. Therefore, its utility is cautioned.

研究の動機と目的

• 現在の ChatGPT が中国語の部屋に似ているか、人工意識に近づいているかを動機づける。
• ChatGPT の出力における重要な推論・事実の誤りを特定・例示する。
• 学習とAIシステムへの信頼に対する潜在的な幻覚と虚偽引用の影響を評価する。

提案手法

• ChatGPT（Feb 13版）を複数のタスクとプロンプトにわたって定性的に批評する。
• 例を通じて因果推論の誤りを示す。
• 同じ質問に対してすべての可能なカテゴリー回答を生成し、誤った例示を提供できることを示す。
• 人工的な幻覚（自信を持って間違った回答）を定義して示す。
• ChatGPT が実在の出版物を模倣する虚偽の参照を生成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 Feb 13版の ChatGPT は genuine understanding よりも中国語の部屋の特性を示しているか。
• RQ2 ChatGPT が示す因果推論の誤りの証拠は何か。
• RQ3 ChatGPT は人工的幻覚と虚偽の参照を示すのか、そしてそれらは学習ツールとしての有用性にどう影響するか。
• RQ4 ChatGPT は信憑性の高い流暢な言語を維持しつつ、誤ったまたは誤解を招く例示を出力できるか。

主な発見

• ChatGPT（Feb 13版）は因果推論における重大な誤りを示す。
• 同じ質問に対してすべての可能なカテゴリー回答を生成し、誤った例示を提供できる。
• ChatGPT は人工的幻覚—自信を持って間違った回答をすること—を示すことができる。
• ChatGPT は実在の出版物を模倣する虚偽の参照を生成し、学習ツールとしての有用性を制限する。