[論文レビュー] Linguistic ambiguity analysis in ChatGPT

Miguel Ortega-Martín, Óscar García-Sierra+4 more|arXiv (Cornell University)|Feb 13, 2023

Topic Modeling被引用数 32

ひとこと要約

本論文は言語的曖昧性を調査し、プロンプト提示を通じてChatGPTが語彙的・統語的・意味的曖昧性をどのように扱うかを経験的に分析し、長所・短所・プロンプト戦略を明らかにしている。

ABSTRACT

Linguistic ambiguity is and has always been one of the main challenges in Natural Language Processing (NLP) systems. Modern Transformer architectures like BERT, T5 or more recently InstructGPT have achieved some impressive improvements in many NLP fields, but there is still plenty of work to do. Motivated by the uproar caused by ChatGPT, in this paper we provide an introduction to linguistic ambiguity, its varieties and their relevance in modern NLP, and perform an extensive empiric analysis. ChatGPT strengths and weaknesses are revealed, as well as strategies to get the most of this model.

研究の動機と目的

• 言語的曖昧性のタイプとそれがNLPにとっての関連性を紹介する。
• 現代のNLPモデルが曖昧性にどう対処しているかを概観する。
• 狙いを定めたプロンプトを用いて語彙的・統語的・意味的曖昧性に対するChatGPTの性能を経験的に評価する。
• ChatGPTの曖昧性解消能力を高めるプロンプト戦略を明らかにする。
• 曖昧性タスクにおけるChatGPTの使用における限界、学習挙動、および倫理的配慮を論じる。

提案手法

• 曖昧性を語彙的・統語的・意味的のカテゴリに分類し、それらの言語的特徴を検討する。
• ChatGPTの曖昧性の検出と曖昧な事例の解釈を評価するための狙いを定めたプロンプトを作成する。
• 語彙的曖昧性の同音異義語と多義語に関する実験を、文/語のプロンプトを用いて実施する。
• 文レベルのプロンプトと節特有の問いを用いて統語的曖昧性を検証する。セッションを跨ぐ学習効果を評価する。
• 共参照解決と性別バイアスプロンプトに焦点を当てて意味的曖昧性を評価する。
• エンコーダ/デコーダの挙動、プロンプトの効果、限界を含む結果と分析を提供する。

Figure 1: Attention mechanism. Source: Xie et al. ( 2021 )

実験結果

リサーチクエスチョン

• RQ1 制御された文において、ChatGPTは語彙的曖昧性（同音異義語・多義語）をどの程度効果的に検出・分類できるか？
• RQ2 ChatGPTは典型的な曖昧構文全体で統語的曖昧性をどれだけ識別・解釈できるか？
• RQ3 共参照の状況と代名詞参照に特に焦点を当てた意味的曖昧性の解消において、ChatGPTはどれくらい熟練しているか？
• RQ4 ChatGPTの曖昧性解消の性能と一貫性を向上させるプロンプト戦略や対話は何か？
• RQ5 曖昧性タスクにおけるChatGPTの観察された限界、偏り、学習挙動は何か？

主な発見

曖昧性タイプ	真陽性	真陰性	偽陽性	偽陰性
Homonymy	3	2	7	1
Polysemy	0	10	0	2
Syntactic	2	0	0	3
Semantic	1	2	0	0

• ChatGPTは曖昧性タイプ全体で混合したパフォーマンスを示し、意味的タスクで高い精度、統語的曖昧性検出では低いパフォーマンス。
• 語彙的曖昧性（同音異義語・多義語）は注意深く設計されたプロンプトで改善可能だが、ChatGPTはしばしば曖昧性を過度に検出したり、多義語のケースを誤ってラベル付けする。
• 統語的曖昧性は検出が難しい；プロンプトによる強化とセッションベースの学習ダイナミクスを通じてより良い結果が得られる。
• 意味的曖昧性、特に共参照は比較的良く扱われる。一方で非曖昧なケースでも性別バイアスの問題が現れることがある。
• プロンプティングと反復的な質問はChatGPTをより正確な曖昧性解消へ導くが、一貫性の欠如と体系性の欠如は依然として残る。