[论文解读] Linguistic ambiguity analysis in ChatGPT

Miguel Ortega-Martín, Óscar García-Sierra+4 more|arXiv (Cornell University)|Feb 13, 2023

Topic Modeling被引用 32

一句话总结

本文综述语言学歧义，并通过提示对 ChatGPT 如何处理词汇、句法和语义歧义进行实证分析，揭示优势、劣势以及提示策略。

ABSTRACT

Linguistic ambiguity is and has always been one of the main challenges in Natural Language Processing (NLP) systems. Modern Transformer architectures like BERT, T5 or more recently InstructGPT have achieved some impressive improvements in many NLP fields, but there is still plenty of work to do. Motivated by the uproar caused by ChatGPT, in this paper we provide an introduction to linguistic ambiguity, its varieties and their relevance in modern NLP, and perform an extensive empiric analysis. ChatGPT strengths and weaknesses are revealed, as well as strategies to get the most of this model.

研究动机与目标

• 介绍语言学歧义类型及其与自然语言处理（NLP）的相关性。
• 评估现代 NLP 模型如何处理歧义。
• 使用有针对性的提示，实证评估 ChatGPT 在词汇、句法和语义歧义上的表现。
• 识别能够提升 ChatGPT 歧义消解能力的提示策略。
• 讨论在歧义任务中使用 ChatGPT 的局限性、学习行为及伦理考量。

提出的方法

• 将歧义分为词汇、句法和语义类别，并综述它们的语言学特征。
• 创建有针对性的提示，以评估 ChatGPT 对歧义的检测和对歧义情形的解释。
• 使用句子/单词提示对词汇歧义中的同音异义（homonymy）和多义性（polysemy）进行实验。
• 通过句子级提示和从句特定查询测试句法歧义；评估跨会话的学习效应。
• 评估在共指消解和性别偏见提示方面的语义歧义。
• 提供结果与分析，包括编码器/解码器行为、提示效应及局限性。

Figure 1: Attention mechanism. Source: Xie et al. ( 2021 )

实验结果

研究问题

• RQ1 在受控句子中，ChatGPT 多词同音异义和多义性等词汇歧义的检测与分类有多有效？
• RQ2 ChatGPT 在典型歧义结构中的句法歧义识别与解释能力如何？
• RQ3 在共指情景和代词指代方面，ChatGPT 解决语义歧义的能力有多高？
• RQ4 哪些提示策略或交互可以提升 ChatGPT 的歧义消解表现与一致性？
• RQ5 在歧义任务中观察到的局限性、偏见或学习行为有哪些？

主要发现

歧义类型	真阳性	真阴性	假阳性	假阴性
Homonymy	3	2	7	1
Polysemy	0	10	0	2
Syntactic	2	0	0	3
Semantic	1	2	0	0

• ChatGPT 在不同歧义类型上的表现参差不齐，语义任务准确性较高，句法歧义检测表现较弱。
• 词汇歧义（同音异义/多义性）可以通过精心设计的提示得到改善，但 ChatGPT 常常过度检测歧义或错误标注多义情况。
• 句法歧义更难检测；通过提示强化和基于会话的学习动态可以获得更好的结果。
• 语义歧义，尤其是共指处理相对良好，尽管在非歧义情形下也可能暴露性别偏见。
• 提示和迭代查询可以引导 ChatGPT 获得更准确的歧义消解，但仍存在不一致性和缺乏系统性的问题。