[论文解读] CCPM: A Chinese Classical Poetry Matching Dataset

Wenhao Li, Fanchao Qi+3 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 7被引用 6

一句话总结

该论文提出CCPM，一个用于评估模型对古典诗歌语义理解能力的中文古典诗歌匹配数据集，通过将现代汉语翻译与原始诗行进行匹配来实现。利用双语平行数据和基于BERT的检索方法生成负样本，该数据集在BERT-Cls模型上达到了84.96%的准确率，为中文古典诗歌生成与理解系统中的语义理解能力设立了基准。

ABSTRACT

Poetry is one of the most important art forms of human languages. Recently many studies have focused on incorporating some linguistic features of poetry, such as style and sentiment, into its understanding or generation system. However, there is no focus on understanding or evaluating the semantics of poetry. Therefore, we propose a novel task to assess a model's semantic understanding of poetry by poem matching. Specifically, this task requires the model to select one line of Chinese classical poetry among four candidates according to the modern Chinese translation of a line of poetry. To construct this dataset, we first obtain a set of parallel data of Chinese classical poetry and modern Chinese translation. Then we retrieve similar lines of poetry with the lines in a poetry corpus as negative choices. We name the dataset Chinese Classical Poetry Matching Dataset (CCPM) and release it at https://github.com/THUNLP-AIPoet/CCPM. We hope this dataset can further enhance the study on incorporating deep semantics into the understanding and generation system of Chinese classical poetry. We also preliminarily run two variants of BERT on this dataset as the baselines for this dataset.

研究动机与目标

• 为解决缺乏评估中文古典诗歌语义理解能力基准的问题。
• 设计一种新颖的诗歌匹配任务，以检验模型将现代汉语翻译与原始诗行对齐的能力。
• 利用双语平行数据和语义相似的负样本，构建大规模、高质量的数据集。
• 为提升诗歌生成与分析系统中的语义建模能力提供基准。
• 弥合现代汉语与古典诗歌语言之间的语义鸿沟，以实现更好的用户意图对齐。

提出的方法

• 从网络资源中收集31,000对中文古典诗歌与其现代汉语翻译的双语对。
• 进行行分割与格式过滤，仅保留五言和七言诗行，包括单行与双行实例。
• 使用预训练的BERT-CCPoem模型计算诗行之间的语义相似度，用于负样本检索。
• 采用局部敏感哈希（LSH）加速相似度搜索，并检索最相似的k条诗行为负样本候选。
• 通过BERT嵌入相似度与最长公共子序列（LCS）得分的加权组合对候选样本进行重排序。
• 通过从最相似的前2–5名和6–10名候选中分别选取两条作为负样本，将最相似的一条作为正样本，最终构建样本，并对训练数据进行洗牌。

实验结果

研究问题

• RQ1 模型能否准确地将现代汉语翻译与对应的中文古典诗行匹配？
• RQ2 像BERT这样的预训练语言模型在多大程度上能够捕捉古典汉语诗歌的深层语义？
• RQ3 不同的模型架构（例如，拼接方式与句子对匹配方式）对诗歌匹配性能有何影响？
• RQ4 基于BERT的语义表示在区分古典诗歌中细微语义差异方面有多有效？
• RQ5 基于检索的负样本采样在多大程度上提升了匹配任务的难度与真实性？

主要发现

• BERT-Cls模型在测试集上取得了84.96%的最高准确率，优于BERT-Match模型。
• BERT-Match模型取得了82.60%的准确率，表明直接的句子对匹配方法虽有效，但不如使用拼接方式的联合编码方法。
• BERT-Cls模型得益于BERT中的自注意力机制，能够增强翻译与候选诗行之间的交互能力。
• 该数据集包含27,218个样本，划分为21,778个训练样本、2,720个验证样本和2,720个测试样本，五言与七言诗行分布均衡。
• 在重排序中同时使用BERT嵌入相似度与LCS得分，提升了负样本的质量，增加了匹配任务的挑战性。
• 该数据集已公开发布于 https://github.com/THUNLP-AIPoet/CCPM，以支持未来在中文古典诗歌语义理解与生成方面的研究。