[论文解读] Emojis Decoded: Leveraging ChatGPT for Enhanced Understanding in Social Media Communications

Yuhang Zhou, Paiheng Xu+4 more|arXiv (Cornell University)|Jan 22, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本研究评估了ChatGPT在解读表情符号语义、情感及使用意图方面的能力，结果表明其与人工标注结果高度一致。研究发现，ChatGPT可有效替代人工标注者开展表情符号研究，并通过解释表情符号的含义来提升沟通清晰度，在多种任务和文化背景下表现与人类专家相当。

ABSTRACT

Emojis, which encapsulate semantics beyond mere words or phrases, have become prevalent in social network communications. This has spurred increasing scholarly interest in exploring their attributes and functionalities. However, emoji-related research and application face two primary challenges. First, researchers typically rely on crowd-sourcing to annotate emojis in order to understand their sentiments, usage intentions, and semantic meanings. Second, subjective interpretations by users can often lead to misunderstandings of emojis and cause the communication barrier. Large Language Models (LLMs) have achieved significant success in various annotation tasks, with ChatGPT demonstrating expertise across multiple domains. In our study, we assess ChatGPT's effectiveness in handling previously annotated and downstream tasks. Our objective is to validate the hypothesis that ChatGPT can serve as a viable alternative to human annotators in emoji research and that its ability to explain emoji meanings can enhance clarity and transparency in online communications. Our findings indicate that ChatGPT has extensive knowledge of emojis. It is adept at elucidating the meaning of emojis across various application scenarios and demonstrates the potential to replace human annotators in a range of tasks.

研究动机与目标

• 评估ChatGPT是否可作为表情符号研究中人工标注者的可行替代方案。
• 评估ChatGPT对不同群体（如性别、平台、文化）表情符号使用模式的理解能力。
• 测试ChatGPT在下游任务（如反语检测和表情符号预测）中的表现。
• 探索GPT-4V通过视觉理解解读非Unicode表情符号的潜力。
• 考察提示设计与模型温度对响应一致性的影响力。

提出的方法

• 通过提供文本上下文与否，向ChatGPT提示其解释表情符号的语义、情感与使用意图。
• 利用平台、性别、话题标签和文化线索，评估模型识别表情符号使用模式在不同群体中的一致性。
• 下游任务包括反语标注与表情符号预测，性能以人工标注基准为参照进行衡量。
• 对于非Unicode表情符号，使用GPT-4V结合图像输入与上下文提示，评估其视觉-语义理解能力。
• 温度超参数设置为0.7（用于定性任务）与0（用于定量任务），以平衡创造力与一致性。
• 所有实验采用标准化提示，对文化特异性表情符号额外提供上下文，以降低幻觉风险。

实验结果

研究问题

• RQ1 RQ1：ChatGPT生成的表情符号语义、情感与使用意图解释是否与人工标注结果一致？
• RQ2 RQ2：ChatGPT是否具备关于不同群体（如性别、平台、文化）表情符号使用模式的知识？
• RQ3 RQ3：ChatGPT在表情符号相关下游任务（如反语标注与表情符号预测）中的表现如何？
• RQ4 RQ4：GPT-4V在解读非Unicode表情符号时，其视觉-语义能力与GPT-4相比如何？
• RQ5 RQ5：ChatGPT对表情符号的解释对提示设计与温度设置的敏感度如何？

主要发现

• 在大多数情况下，ChatGPT对表情符号语义、情感与意图的解释与人工标注标签高度一致，表明其具备强大的语义理解能力。
• ChatGPT在不同群体（包括性别、平台与文化背景）中均表现出对表情符号使用模式的一致认知。
• 在反语标注与表情符号预测任务中，ChatGPT的表现与人类基线水平相当，显示出强大的下游应用潜力。
• 当提供文化背景信息时，GPT-4V能成功解读非Unicode表情符号（如（破损）和（旁观者）），显著降低幻觉风险。
• 对于表情符号（哀求脸），GPT-4与GPT-4V的判断存在分歧——GPT-4将其标注为正面（共情），而GPT-4V标注为负面（皱眉），凸显了语境依赖的解释差异。
• 模型响应对提示设计敏感，提供文化特异性上下文能显著提升对非标准表情符号的解释准确性。