[论文解读] Improving Classification through Weak Supervision in Context-specific Conversational Agent Development for Teacher Education

Debajyoti Datta, Maria Phillips+5 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 33被引用 8

一句话总结

本文提出了一种多任务弱监督与主动学习框架，以减少在教师教育领域开发特定上下文对话智能体时的标注工作量。通过利用专家标注者提供的概率标注函数，并迭代选择不确定样本进行精炼，该方法仅由16名标注者标注1,300个样本即实现了95%的准确率，优于多数投票方法，显著降低了时间和标注成本，同时提升了教育领域自然语言处理任务的分类性能。

ABSTRACT

Machine learning techniques applied to the Natural Language Processing (NLP) component of conversational agent development show promising results for improved accuracy and quality of feedback that a conversational agent can provide. The effort required to develop an educational scenario specific conversational agent is time consuming as it requires domain experts to label and annotate noisy data sources such as classroom videos. Previous approaches to modeling annotations have relied on labeling thousands of examples and calculating inter-annotator agreement and majority votes in order to model the necessary scenarios. This method, while proven successful, ignores individual annotator strengths in labeling a data point and under-utilizes examples that do not have a majority vote for labeling. We propose using a multi-task weak supervision method combined with active learning to address these concerns. This approach requires less labeling than traditional methods and shows significant improvements in precision, efficiency, and time-requirements than the majority vote method (Ratner 2019). We demonstrate the validity of this method on the Google Jigsaw data set and then propose a scenario to apply this method using the Instructional Quality Assessment(IQA) to define the categories for labeling. We propose using probabilistic modeling of annotator labeling to generate active learning examples to further label the data. Active learning is able to iteratively improve the training performance and accuracy of the original classification model. This approach combines state-of-the art labeling techniques of weak supervision and active learning to optimize results in the educational domain and could be further used to lessen the data requirements for expanded scenarios within the education domain through transfer learning.

研究动机与目标

• 减少在教师教育领域标注大规模教育对话智能体数据的时间与成本。
• 通过建模个体标注者的能力并处理冲突标签，提升分类准确率，超越多数投票方法。
• 通过主动学习优先标注不确定或模糊的样本，最小化专家标注工作量。
• 利用弱监督与主动学习实现可扩展、可迁移且高效的教育领域特定上下文对话智能体开发。
• 在基于IQ A的标注任务上验证该框架在数学教育中的有效性，展示其效率与准确率的提升。

提出的方法

• 采用基于专家知识与启发式规则的多任务弱监督方法，生成噪声但可扩展的训练数据。
• 通过标注者行为的概率建模估算标签置信度并解决冲突，从而在多轮迭代中提升标签质量。
• 应用基于冲突的主动学习策略，识别并优先标注标注者之间存在分歧的样本以进行进一步标注。
• 在弱监督数据上训练基于BERT的分类模型，并利用主动选择的样本进行微调，以提升性能。
• 在Google Jigsaw数据集上进行消融研究，评估标注者数量与样本数量对模型准确率的影响。
• 集成迁移学习，复用预训练模型，降低新教育场景下的数据需求。

实验结果

研究问题

• RQ1 弱监督与主动学习是否能减少训练教育对话智能体分类模型所需的标注样本数量？
• RQ2 标注者数量与标注样本数量在影响模型准确率方面有何差异？
• RQ3 基于冲突的主动学习是否能相比多数投票方法更有效地提升对模糊或低置信度样本的性能？
• RQ4 标注函数与概率建模在多大程度上能提升标注者间的一致性与标签质量？
• RQ5 该框架在其他教育训练场景中是否具有可推广性，并能以极少配置调整实现应用？

主要发现

• 仅由16名标注者标注1,300个样本，模型即达到95%的准确率，优于8名标注者标注13,000个样本的表现。
• 标注者间一致性从第一轮的49.4（Cohen’s Kappa）提升至第二轮的79.4，表明迭代标注方法有效。
• 主动学习策略在冲突样本上达到62.85%的准确率，证明其在解决模糊案例方面的有效性。
• 标注函数表现出高准确率，其中LF3在测试集上达到82.0%，验证了其在弱监督中的实用性。
• 各类别准确率介于69.5%（探查或探索）至81.5%（程序性）之间，各类别均表现良好。
• 通过优先标注高不确定性样本，该框架显著减少了专家标注时间，使标注过程更加高效且成本更低。