[論文レビュー] Consistency Analysis of ChatGPT

Myeongjun Jang, Thomas Lukasiewicz|arXiv (Cornell University)|Mar 11, 2023

Topic Modeling被引用数 11

ひとこと要約

この論文は、BECELベンチマークを用いて意味的整合性、否定、対称、推移の観点でChatGPTとGPT-4を評価し、たとえ大規模モデルやプロンプト/ファew-shot手法でも完全な整合性を保証せず、自己矛盾の説明は依然として残ることを示している。

ABSTRACT

ChatGPT has gained a huge popularity since its introduction. Its positive aspects have been reported through many media platforms, and some analyses even showed that ChatGPT achieved a decent grade in professional exams, adding extra support to the claim that AI can now assist and even replace humans in industrial fields. Others, however, doubt its reliability and trustworthiness. This paper investigates the trustworthiness of ChatGPT and GPT-4 regarding logically consistent behaviour, focusing specifically on semantic consistency and the properties of negation, symmetric, and transitive consistency. Our findings suggest that while both models appear to show an enhanced language understanding and reasoning ability, they still frequently fall short of generating logically consistent predictions. We also ascertain via experiments that prompt designing, few-shot learning and employing larger large language models (LLMs) are unlikely to be the ultimate solution to resolve the inconsistency issue of LLMs.

研究の動機と目的

• 意味が等価な入力がChatGPTとGPT-4の意思決定にどのように影響するかを複数の整合性タイプで評価する。
• BECELベンチマークを用いて否定・対称・推移の整合性を定量化する。
• ファインチューニング済みPLMと比較して、ゼロショットおよびファウショットプロンプト下でChatGPTとGPT-4を比較する。
• プロンプト設計、ファウショット学習、あるいはより大きなモデルが整合性の問題を解決するかどうかを識別する。
• 高リスク領域における説明可能性の課題と信頼性への影響を論じる。

提案手法

• SNLI、RTE、MRPC、WiCタスクを横断して、BECELデータセットを用いて意味的、否定、対称、推移の整合性を検証する。
• 原文と改変入力（パラフレーズ、否定、入力の再順序、推移的推論）を生成する。
• ChatGPTの2つのプロンプト設計と、研究期間中に利用可能だったOpenAI APIバージョンを用いてゼロショットおよび2-shot設定でGPT-4の予測を取得する。
• 各整合性タイプについて元データと改変データの予測の不整合指標を算出する。正解の可能性を考慮するための条件付き不整合指標も導入する。
• 先行のPLM研究からElectra-largeとT5をコンテキストベンチマーキングとして比較する。
• 不整合の定性的な例を提供し、ChatGPTが生成する説明を分析する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTとGPT-4はBECELベースの評価で意味的・否定・対称・推移の不整合を示すのか。
• RQ2 プロンプト設計とファウショット学習はLLMの整合性にどのように影響するのか。
• RQ3 モデルサイズの増加（GPT-4 vs ChatGPT）はタスク全体で論理的整合性を一貫して向上させるのか。
• RQ4 ChatGPTが提供する説明は内部的一貫性を持ち、入力テキストに忠実か。
• RQ5 観測された不整合が高リスク領域に与える信頼性への影響は何か。

主な発見

• ChatGPTはパラフレーズのシナリオで意味的整合性と自己矛盾をPLMsより高く示し、完全な論理的整合性が欠如していることを示唆している。
• 否定の整合性はPLMsに比べてChatGPTとGPT-4で改善されるが、特にSNLIにおいて条件付き不整合が低い。
• ChatGPTは対称性の不整合が高く、特にMRPCおよびRTEタスクで入力順序に敏感であることを示唆している。
• 推移的整合性は一部データセット（特にWiC）ではファインチューニング済みPLMsよりもChatGPTの方が良い場合があり、高次の推論能力に長所がある。
• プロンプト設計とファウショット学習は整合性を安定的に修正するとは限らず、GPT-4が必ずしもChatGPTを上回るわけではなく、自己矛盾は依然として残る。
• 本研究は説明可能性の課題を浮き彫りにしており、生成される説明が時として他のモデル出力と矛盾する。