[论文解读] Cost-effective Interactive Attention Learning with Neural Attention Processes

Jay Heo, Junhyeon Park+5 more|arXiv (Cornell University)|Jun 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 25被引用 4

一句话总结

本文提出交互注意力学习（IAL），一种低成本框架，通过神经注意力过程（NAP）使人类监督者无需重新训练即可迭代修正模型注意力，并利用低成本重排序优先处理对模型性能负面影响最大的实例和特征。IAL在医疗保健、房地产和计算机视觉时间序列任务中显著提升了模型性能，同时大幅降低了人工成本和重新训练成本。

ABSTRACT

We propose a novel interactive learning framework which we refer to as Interactive Attention Learning (IAL), in which the human supervisors interactively manipulate the allocated attentions, to correct the model's behavior by updating the attention-generating network. However, such a model is prone to overfitting due to scarcity of human annotations, and requires costly retraining. Moreover, it is almost infeasible for the human annotators to examine attentions on tons of instances and features. We tackle these challenges by proposing a sample-efficient attention mechanism and a cost-effective reranking algorithm for instances and features. First, we propose Neural Attention Process (NAP), which is an attention generator that can update its behavior by incorporating new attention-level supervisions without any retraining. Secondly, we propose an algorithm which prioritizes the instances and the features by their negative impacts, such that the model can yield large improvements with minimal human feedback. We validate IAL on various time-series datasets from multiple domains (healthcare, real-estate, and computer vision) on which it significantly outperforms baselines with conventional attention mechanisms, or without cost-effective reranking, with substantially less retraining and human-model interaction cost.

研究动机与目标

• 为解决因人类标注稀缺而导致的交互注意力学习中成本高昂和过拟合风险的问题。
• 通过优先处理对模型性能负面影响最大的实例和特征，降低人工监督成本。
• 通过直接将人类反馈整合到注意力机制中，实现在无需重新训练情况下的高效模型更新。
• 提升临床风险预测等安全关键应用中模型的可解释性和可靠性。
• 开发一种可扩展的交互式学习框架，最大限度降低人工交互和计算重新训练成本。

提出的方法

• 提出神经注意力过程（NAP），一种概率注意力生成器，可在不重新训练的情况下利用新的注意力级别监督更新其行为。
• 采用样本高效的注意力机制，在训练数据有限时防止过拟合。
• 利用不确定性、影响函数和反事实估计实现低成本重排序，以优先处理问题实例和特征。
• 根据其负面影响对实例和特征进行排序，以最大化每次人工反馈循环的效果。
• 在NAP中使用近似推理，以减少重新训练时间并提高系统响应速度。
• 结合不确定性与反事实得分，实现高效、低成本的重排序，避免昂贵的Hessian矩阵计算。

实验结果

研究问题

• RQ1 是否可以无需完整重新训练，仅通过人类反馈高效更新神经注意力机制？
• RQ2 在大规模时间序列数据的交互注意力学习中，如何最小化人工标注成本？
• RQ3 哪些实例级和特征级指标最能预测人工反馈对模型性能提升的影响？
• RQ4 通过注意力级别反馈进行交互式修正，是否能提升安全关键领域中模型的可靠性和可解释性？
• RQ5 基于负面影响指标的重排序策略是否能显著减少所需的人工标注数量？

主要发现

• 在心力衰竭预测任务中，IAL-NAP仅使用100个标注样本即达到与Random-NAP相当的AUC（0.6414），而Random-NAP需400个样本。
• 低成本重排序通过优先处理高影响力实例和特征，显著缩短了标注者响应时间，如图5（底部）所示。
• IAL-NAP在五个真实世界时间序列任务中优于基线方法，包括基于电子健康记录的心血管疾病风险预测和房地产预测。
• 不确定性与反事实得分的结合提供了一种成本效益更高的替代方案，避免了昂贵的Hessian矩阵计算，同时保持了性能。
• 定性分析表明，IAL-NAP能根据临床推理逻辑纠正假阳性和假阴性（如年轻患者中的年龄误判、心血管疾病风险中的吸烟因素误判）。
• 与微调基线相比，NAP显著减少了重新训练时间，证明了近似推理的优势。