[论文解读] Understanding the Impact of Text Highlighting in Crowdsourcing Tasks

Jorge Ramírez, Marcos Báez+2 more|arXiv (Cornell University)|Sep 6, 2019

Mobile Crowdsensing and Crowdsourcing被引用 8

一句话总结

本文研究了众包文本分类中的文本高亮效果，提出高质量的机器生成高亮可将决策时间最多减少44%，且不会损害准确性——前提是高亮质量足够高。研究发现，低质量高亮会损害准确性，而聚合多个标注员的高亮则能提升整体性能，为实现可扩展、高效的文本分类人机协作提供了实用路径。

ABSTRACT

Text classification is one of the most common goals of machine learning (ML) projects, and also one of the most frequent human intelligence tasks in crowdsourcing platforms. ML has mixed success in such tasks depending on the nature of the problem, while crowd-based classification has proven to be surprisingly effective, but can be expensive. Recently, hybrid text classification algorithms, combining human computation and machine learning, have been proposed to improve accuracy and reduce costs. One way to do so is to have ML highlight or emphasize portions of text that it believes to be more relevant to the decision. Humans can then rely only on this text or read the entire text if the highlighted information is insufficient. In this paper, we investigate if and under what conditions highlighting selected parts of the text can (or cannot) improve classification cost and/or accuracy, and in general how it affects the process and outcome of the human intelligence tasks. We study this through a series of crowdsourcing experiments running over different datasets and with task designs imposing different cognitive demands. Our findings suggest that highlighting is effective in reducing classification effort but does not improve accuracy - and in fact, low-quality highlighting can decrease it.

研究动机与目标

• 调查文本高亮是否以及在何种条件下能够提升众包文本分类任务的成本效益与准确性。
• 识别高亮质量的临界阈值，以确定其是否带来性能提升或造成损害。
• 评估聚合多个标注员或算法生成的高亮是否能有效提升分类结果。
• 理解认知负荷、文档长度与任务难度如何影响高亮的影响效果。
• 为未来关于文本分类中高亮技术的研究提供一个公开可获取的标注数据集。

提出的方法

• 在三个具有不同文档长度与分类难度的多样化数据集上开展众包实验。
• 设计了三种任务变体：无高亮、机器生成高亮、以及来自多个来源的聚合高亮。
• 使用置信度阈值筛选高亮质量，对比高质量、低质量与基线条件下的表现。
• 收集标注员的决策时间、准确性、任务放弃率及主观努力感，以评估影响。
• 应用回归分析，衡量在不同认知负荷条件下，高亮对决策时间与准确性的影响。
• 通过整合独立标注员或算法的输出，评估高亮聚合效果，类似于众包中的投票聚合机制。

实验结果

研究问题

• RQ1 文本高亮是否能提升众包文本分类任务中的分类准确性？
• RQ2 机器生成高亮的质量如何影响标注员的准确性与决策时间？
• RQ3 聚合多个标注员或算法生成的高亮是否能提升整体分类性能？
• RQ4 高亮的影响是否因任务难度、文档长度或认知负荷而异？
• RQ5 高亮对任务放弃率与主观努力感有何影响？

主要发现

• 与基线相比，高质量高亮将决策时间最多减少了44%，且在三个数据集中的两个中观察到显著改善。
• 尽管缩短了决策时间，高质量高亮并未显著提升标注员的准确性，但显示出积极趋势。
• 低质量高亮始终降低了标注员的准确性，表明低质量高亮可能具有破坏性影响。
• 即使单个标注员的准确性未变，聚合多个独立来源的高亮仍能提升整体分类性能。
• 在高认知负荷场景下，高亮尤为有效，使决策时间减少16%至44%，并降低任务放弃率。
• 高亮对决策时间的影响在不同任务难度下保持一致，表明其优势不局限于简单或困难任务。