[论文解读] Applying Cooperative Machine Learning to Speed Up the Annotation of Social Signals in Large Multi-modal Corpora

Johannes Wagner, Tobias Baur+4 more|arXiv (Cornell University)|Feb 7, 2018

Anomaly Detection Techniques and Applications参考文献 60被引用 13

一句话总结

本文提出了一种协作式机器学习（CML）框架，通过整合人类与机器智能，加速大规模多模态语料库中社交信号的标注。通过在高置信度预测上迭代训练，并使用与会话无关的模型，该方法将人工标注工作量减少了5/8（在6.6小时的任务中节省约2.5小时），并在真实世界的语音填充物检测任务中验证了其有效性，识别准确率达到80%。

ABSTRACT

Scientific disciplines, such as Behavioural Psychology, Anthropology and recently Social Signal Processing are concerned with the systematic exploration of human behaviour. A typical work-flow includes the manual annotation (also called coding) of social signals in multi-modal corpora of considerable size. For the involved annotators this defines an exhausting and time-consuming task. In the article at hand we present a novel method and also provide the tools to speed up the coding procedure. To this end, we suggest and evaluate the use of Cooperative Machine Learning (CML) techniques to reduce manual labelling efforts by combining the power of computational capabilities and human intelligence. The proposed CML strategy starts with a small number of labelled instances and concentrates on predicting local parts first. Afterwards, a session-independent classification model is created to finish the remaining parts of the database. Confidence values are computed to guide the manual inspection and correction of the predictions. To bring the proposed approach into application we introduce NOVA - an open-source tool for collaborative and machine-aided annotations. In particular, it gives labellers immediate access to CML strategies and directly provides visual feedback on the results. Our experiments show that the proposed method has the potential to significantly reduce human labelling efforts.

研究动机与目标

• 减少大规模多模态语料库中社交信号人工标注的耗时与高成本问题。
• 解决构建大规模、自然发生的生物行为数据集的挑战，这些数据集对于训练先进机器学习模型至关重要。
• 在最小化冗余人工标注的前提下，将人类智能与机器学习整合到协作工作流中。
• 开发一款实用的开源工具（NOVA），支持研究人员进行实时协作标注。

提出的方法

• CML方法从少量人工标注样本开始，训练初始分类器。
• 首先聚焦于预测局部信号片段，利用置信度分数优先将不确定性高的预测交由人工审查。
• 随后基于优化后的数据训练一个与会话无关的分类模型，以标注语料库的剩余部分。
• 置信度值指导标注工作流，确保人工工作集中于低置信度预测。
• NOVA工具支持集成CML策略的实时协作标注，并提供可视化反馈。
• 系统可根据预测置信度动态优先处理会话，以优化学习效率。

实验结果

研究问题

• RQ1 协作式机器学习能否显著减少大规模社交信号标注中的人工标注工作量？
• RQ2 人类与机器智能的整合在提升标注速度与准确性方面效果如何？
• RQ3 基于置信度的预测过滤是否能减少人工检查需求而不牺牲标注质量？
• RQ4 与传统人工标注相比，CML工作流在时间效率与模型性能方面表现如何？
• RQ5 像NOVA这样的开源工具能否在真实研究环境中有效支持协作式、机器辅助的标注？

主要发现

• 在10小时的语音语料中，CML方法将人工标注时间减少了约2.5小时（从6.6小时降至4.1小时），标注工作量减少了5/8。
• 系统使用线性分类器在四类填充物检测（语音、呼吸、填充词、沉默）任务中实现了平均80%的识别性能。
• 基于置信度的过滤成功引导人工标注者聚焦于最不确定的预测，显著提升了标注效率。
• 终端用户对NOVA的使用体验表示积极，指出系统准确度高，且人类与机器在标注中发挥了互补作用。
• 将CML集成到NOVA中，实现了流畅的协作工作流，支持迭代式模型优化与实时反馈。
• 该方法展现出良好的泛化潜力，检测系统可轻松适配其他数据库与标注任务。