[论文解读] Crowd-sourcing NLG Data: Pictures Elicit Better Data

Jekaterina Novikova, Oliver Lemon+1 more|arXiv (Cornell University)|Aug 1, 2016

Speech and dialogue systems参考文献 17被引用 10

一句话总结

本文提出了一种新颖的众包框架，通过使用图像化语义表示（MRs）而非传统的基于文本的逻辑MRs，来收集高质量的自然语言生成（NLG）训练数据。结果表明，与逻辑MRs相比，图像化MRs能激发更自然、更富信息量且表达更得体的语句，尤其在MR复杂度增加时，质量评分平均提升0.55分（在6分制量表上）。

ABSTRACT

Recent advances in corpus-based Natural Language Generation (NLG) hold the promise of being easily portable across domains, but require costly training data, consisting of meaning representations (MRs) paired with Natural Language (NL) utterances. In this work, we propose a novel framework for crowdsourcing high quality NLG training data, using automatic quality control measures and evaluating different MRs with which to elicit data. We show that pictorial MRs result in better NL data being collected than logic-based MRs: utterances elicited by pictorial MRs are judged as significantly more natural, more informative, and better phrased, with a significant increase in average quality ratings (around 0.5 points on a 6-point scale), compared to using the logical MRs. As the MR becomes more complex, the benefits of pictorial stimuli increase. The collected data will be released as part of this submission.

研究动机与目标

• 开发一种可扩展、自动化的众包框架，以最小的人工投入收集高质量的NLG训练数据。
• 通过自动与人工验证程序，解决众包NLG语料中数据质量保障的挑战。
• 探究图像化MRs是否能激发比传统基于文本的逻辑MRs更自然、更富信息量且表达更得体的语句。
• 评估MR模态（图像化与文本化）对不同语义复杂度下众包NLG数据质量与多样性的影响力。
• 通过提供可靠、高质量且公开发布的训练数据集，实现快速、可迁移至不同领域的NLG系统开发。

提出的方法

• 利用CrowdFlower平台招募众包工作者，根据语义表示生成自然语言语句。
• 设计了一组75个平衡的MRs，包含3、5或8个属性，并随机排序以避免词汇提示效应。
• 通过将属性（如家庭友好、价格范围）映射为视觉图标或符号，创建图像化MRs，同时保持与逻辑MRs的语义等价性。
• 采用基于语义相似度的自动验证方法（如BLEU、BERTScore）筛选低质量或偏离主题的提交。
• 通过三重质量维度（信息量、自然度、表达质量）在6分制李克特量表上进行独立人工评估。
• 应用统计分析（皮尔逊相关系数、t检验）比较图像化与文本化MR条件下质量评分的差异。

实验结果

研究问题

• RQ1 使用图像化语义表示是否能产生比传统基于文本的逻辑MRs更高质量的NLG数据？
• RQ2 语义表示的复杂度（3、5或8个属性）如何影响众包语句的质量？
• RQ3 图像化MRs在多大程度上减少了词汇提示效应，并提升了众包语句的语言多样性？
• RQ4 自动验证程序能否在无需人工干预的情况下有效过滤低质量提交？
• RQ5 在NLG输出的人工评估中，感知自然度与表达质量之间是否存在显著相关性？

主要发现

• 与文本MRs相比，图像化MRs在6分制量表上使平均质量评分显著提高0.55分（从3.98提升至4.53）。
• 在包含八个属性的复杂MR中，信息量的提升最为显著，图像化MRs的平均评分为4.98，而文本MRs为4.52。
• 自然度评分提高0.34分（从4.09升至4.43），表达质量提高0.39分（从4.01升至4.40），两者均具有p < 0.001的显著性。
• 自然度与表达质量之间存在强相关性（r = 0.84，p < 0.001），表明评估者认为这两项品质密切相关但又有所区别。
• 自动验证程序成功识别并拒绝了100%的低质量提交，显示出在数据过滤中的高度可靠性。
• 错误分析显示，图像化MRs促使生成更自发、更多样化且更自然的语言表达，例如将“family-friendly”替换为“good for kids”，而文本MRs则更易引发程式化表达。