[论文解读] CMDAG: A Chinese Metaphor Dataset with Annotated Grounds as CoT for Boosting Metaphor Generation

Yujie Shao, Xinrong Yao+6 more|arXiv (Cornell University)|Feb 20, 2024

Language, Metaphor, and CognitionPsychology被引用 3

一句话总结

本文提出CMDAG，一个包含28,000个句子的大规模中文隐喻数据集，对喻体、本体和喻意（ground）进行了标注，强调概念映射。通过整合基于喻意的思维链（CoT）提示方法，该方法显著提升了大型语言模型在中文隐喻生成任务中的流畅性、创造性和语境适宜性，相比传统方法性能显著提升。

ABSTRACT

Metaphor is a prominent linguistic device in human language and literature, as they add color, imagery, and emphasis to enhance effective communication. This paper introduces a large-scale high quality annotated Chinese Metaphor Corpus, which comprises around 28K sentences drawn from a diverse range of Chinese literary sources, such as poems, prose, song lyrics, etc. To ensure the accuracy and consistency of our annotations, we introduce a comprehensive set of guidelines. These guidelines address the facets of metaphor annotation, including identifying tenors, vehicles, and grounds to handling the complexities of similes, personifications, juxtapositions, and hyperboles. Breaking tradition, our approach to metaphor generation emphasizes grounds and their distinct features rather than the conventional combination of tenors and vehicles. By integrating "ground" as a CoT (Chain of Thoughts) input, we are able to generate metaphors that resonate more with real-world intuition. We test generative models such as Belle, Baichuan, and Chinese-alpaca-33B using our annotated corpus. These models are able to generate creative and fluent metaphor sentences more frequently induced by selected samples from our dataset, demonstrating the value of our corpus for Chinese metaphor research. The code is available in https://github.com/JasonShao55/Chinese_Metaphor_Explanation.

研究动机与目标

• 为解决缺乏高质量、结构化的中文隐喻数据集的问题，尤其缺少概念性喻意（喻意）标注，以提升隐喻生成质量。
• 设计严谨的标注框架，确保在隐喻中识别本体、喻体和喻意的一致性与准确性。
• 探索利用喻意作为中间推理步骤的思维链（CoT）提示方法在引导隐喻生成方面的有效性。
• 评估基于喻意的CoT如何影响生成中文隐喻的流畅性、创造性和真实性。
• 展示CMDAG在训练和评估大语言模型生成类人隐喻方面的实用性。

提出的方法

• 从多样化的中文文学来源（诗歌、散文、歌词）中对27,989个隐喻性句子进行标注，明确标注本体（本体）、喻体（喻体）和喻意（喻意）成分。
• 设计全面的标注指南，以标准化识别隐喻、明喻、拟人和夸张等修辞手法，特别关注喻意特征。
• 提出一种新颖的基于CoT的提示策略，将喻意作为推理步骤，引导大语言模型从本体-喻体对或本体-喻意对生成隐喻。
• 设计两种评估设置：(1) 给定本体和喻体，通过CoT生成喻意；(2) 给定本体和喻意，通过CoT生成喻体。
• 在CoT提示设置下，使用CMDAG数据集对开源大语言模型（Belle、Baichuan、Chinese-alpaca-33B）进行微调与评估。
• 采用人工评估，评估标准包括清晰度、创造性和真实性，以评估模型输出，并分析各评估维度之间的相关性。

实验结果

研究问题

• RQ1 将喻意（喻意）作为思维链（CoT）组件引入，如何提升生成中文隐喻的质量？
• RQ2 与标准提示方法相比，基于喻意的CoT在多大程度上提升了隐喻生成的流畅性、创造性和真实性？
• RQ3 当使用CMDAG和CoT进行微调时，不同大型语言模型（LLMs）在中文隐喻生成任务中的表现如何？
• RQ4 在人类对生成隐喻的判断中，清晰度、创造性和真实性等评估标准之间存在何种关系？
• RQ5 一个包含显式喻意标注的数据集是否能显著提升大语言模型在生成语境恰当且概念一致的隐喻方面的性能？

主要发现

• 基于喻意的CoT显著提高了大语言模型生成合理隐喻性句子的比例，尤其在与无喻意推理的常规提示方法相比时更为明显。
• 在中文预训练数据更丰富的模型（如Baichuan）在中文隐喻生成任务中表现优于通用多语言模型（如GPT-3.5和GPT-4），表明领域特定预训练能显著提升性能。
• Belle生成的合理隐喻数量显著少于GPT-4和GPT-3.5，凸显模型架构和预训练数据质量在该任务中的关键作用。
• 人类评估者在隐喻评估中更重视创造性而非真实性，而清晰度在CoT设置下变得更为重要，表明推理步骤的引入可能改变了人类的判断标准。
• 评估标准之间的皮尔逊相关性分析显示，清晰度与创造性中度相关（r=0.28），而创造性和真实性高度相关（r=0.71），表明更具创造性的隐喻更可能被视为真实。
• 本研究发现，基于喻意的CoT可能略微抑制模型对新颖喻体和喻意的探索，提示在隐喻生成中存在一致性与原创性之间的权衡。