[论文解读] Inter-rater Agreement on Sentence Formality

Shibamouli Lahiri, Xiaofei Lu|arXiv (Cornell University)|Sep 1, 2011

Natural Language Processing Techniques参考文献 11被引用 5

一句话总结

本研究通过五级李克特量表评估句子正式程度的评分者间一致性，证明其在可靠性方面显著优于二元分类。研究识别出不同文本类型（博客、论坛、新闻、论文）的正式程度分布特征，揭示评分偏差，并提供一个经验证的、由人工标注的句子种子集，可用于训练和评估自动句子级别正式程度评分系统。

ABSTRACT

Formality is one of the most important dimensions of writing style variation. In this study we conducted an inter-rater reliability experiment for assessing sentence formality on a five-point Likert scale, and obtained good agreement results as well as different rating distributions for different sentence categories. We also performed a difficulty analysis to identify the bottlenecks of our rating procedure. Our main objective is to design an automatic scoring mechanism for sentence-level formality, and this study is important for that purpose.

研究动机与目标

• 评估使用五级李克特量表进行句子级别正式程度标注的评分者间一致性。
• 调查分级量表是否相较于二元（正式/非正式）标注能提高一致性。
• 识别降低一致性、影响评分者一致性的困难句子类型。
• 生成一个包含正式程度评分的人工标注句子种子集，用于训练和评估自动正式程度评分系统。
• 分析博客、论坛、新闻和学术论文文本中基于文本类型的正式程度评分分布差异。

提出的方法

• 采用1-5级李克特量表表示正式程度：1（非常非正式），2（非正式），3（中等），4（正式），5（非常正式），以及X（不确定）。
• 开展两阶段标注研究：第一阶段为100个句子的热身阶段，评分者现场参与；第二阶段为500个句子的实际标注阶段，评分者独立完成。
• 使用两名母语为英语的女性本科生作为评分者，未提供正式程度标准的指导，仅要求保持一致性和独立性。
• 应用Fleiss’ Kappa及其它非参数检验（Kruskal-Wallis检验、U检验、Kolmogorov-Smirnov检验）评估评分者间一致性及分布差异。
• 通过识别被标记为'X'或评分差异≥2分的句子，进行难度分析。
• 收集并保存了500个人工标注的句子及其正式程度评分，作为未来自动系统评估的种子集。

实验结果

研究问题

• RQ1 使用五级李克特量表评估句子正式程度是否能显著提高评分者间一致性的表现，相较于二元分类？
• RQ2 博客、论坛、新闻和学术论文等文本类型之间的正式程度评分分布是否存在显著差异？
• RQ3 哪些类型的句子最难实现一致评分，导致评分者意见不一致？
• RQ4 评分者在评分行为中是否表现出中心趋势偏差或系统性差异？
• RQ5 能否可靠地生成一个包含正式程度评分的人工标注句子种子集，以供自动正式程度评分系统使用？

主要发现

• 评分者间一致性的总体Fleiss’ Kappa值为0.586，表明一致性程度较高，且具有统计学显著性（p < 0.005）。
• 评分者间一致性显著高于以往的二元标注（例如，κ_blog = 0.164），验证了分级量表的有效性。
• 评分者1的平均评分（均值 = 3.1）显著高于评分者2（均值 = 2.85），差异具有统计学意义（p < 0.05）。
• 各类文本类别的正式程度评分分布存在显著差异（p < 0.05），其中论文的正式程度最高，其次是新闻、博客和论坛。
• 难度分析显示，5%的句子（25/500）因系统消息、不完整句子或合并句子被标记为'X'，另有8%（40/500）的句子评分差异≥2分。
• 本研究成功生成了一个可靠的500个句子的人工标注种子集，包含正式程度评分，适用于训练和评估自动句子级别正式程度评分系统。