[论文解读] Interactive Machine Learning: A State of the Art Review

Natnael A. Wondimu, Cédric Buche+1 more|arXiv (Cornell University)|Jul 13, 2022

Adversarial Robustness in Machine Learning被引用 13

一句话总结

本文对交互式机器学习（iML）进行了全面的前沿综述，提出了一种混合分类法，通过自下而上的聚类方法将以优势为导向和以应用/任务为导向的视角相结合。该研究识别出关键研究主题——鲁棒学习、低资源学习、探索性学习及iML评估——并指出了尚未充分探索的领域，提出了六个未来研究方向，包括对抗防御、用户参与度以及性能评估框架。

ABSTRACT

Machine learning has proved useful in many software disciplines, including computer vision, speech and audio processing, natural language processing, robotics and some other fields. However, its applicability has been significantly hampered due its black-box nature and significant resource consumption. Performance is achieved at the expense of enormous computational resource and usually compromising the robustness and trustworthiness of the model. Recent researches have been identifying a lack of interactivity as the prime source of these machine learning problems. Consequently, interactive machine learning (iML) has acquired increased attention of researchers on account of its human-in-the-loop modality and relatively efficient resource utilization. Thereby, a state-of-the-art review of interactive machine learning plays a vital role in easing the effort toward building human-centred models. In this paper, we provide a comprehensive analysis of the state-of-the-art of iML. We analyze salient research works using merit-oriented and application/task oriented mixed taxonomy. We use a bottom-up clustering approach to generate a taxonomy of iML research works. Research works on adversarial black-box attacks and corresponding iML based defense system, exploratory machine learning, resource constrained learning, and iML performance evaluation are analyzed under their corresponding theme in our merit-oriented taxonomy. We have further classified these research works into technical and sectoral categories. Finally, research opportunities that we believe are inspiring for future work in iML are discussed thoroughly.

研究动机与目标

• 为解决黑箱、资源密集型机器学习的局限性，通过iML推进人机协同方法。
• 识别并系统化尚未充分探索的应用领域，如机器人学、普适计算和聚类，这些领域中iML的采用程度有限。
• 基于技术优势和应用主题，采用自下而上的聚类方法，提出iML研究的结构化分类法。
• 突出iML中的关键研究缺口，特别是在性能评估、用户参与度和可信度方面。
• 通过阐明六个关键机遇，为未来研究提供指导：对抗防御、用户参与度建模、探索性学习、低资源学习、用户体验设计及评估框架。

提出的方法

• 通过自下而上的聚类方法，将iML研究基于技术优势（如鲁棒性、低资源学习）和应用任务（如医疗、网络安保）进行分类，构建混合分类法。
• 利用该分类法分析对抗攻击防御、探索性机器学习和资源受限学习等开创性研究。
• 将研究划分为技术类别和领域类别，以评估特定领域的采纳程度和创新水平。
• 从性能、可信度和可用性维度评估现有iML系统，强调人机反馈回路的作用。
• 采用系统性文献综述方法，梳理趋势，识别重复性挑战，并提取研究机遇。
• 基于当前iML文献中观察到的实证缺口，特别是评估和人机交互设计方面，提出未来研究方向。

实验结果

研究问题

• RQ1 如何系统性地对交互式机器学习进行分类，以同时反映技术优势和特定应用需求？
• RQ2 在农业、医疗和教育等高风险领域，iML在低资源、实时和决策敏感场景中的应用面临哪些关键挑战？
• RQ3 人机协同机制在多大程度上能提升模型对对抗攻击的鲁棒性并增强可信度？
• RQ4 如何在iML流程中对用户参与度进行定量建模与优化，以提升性能和可用性？
• RQ5 iML性能评估中最为紧迫的缺口是什么？如何为协同适应的人机协同系统开发标准化基准？

主要发现

• iML尚未在搜索与检索、普适计算和聚类等领域能够系统化应用，表明存在显著的未充分利用现象。
• 尽管在理论和实践上具有显著优势，但针对农业、医疗和教育等高风险领域，仍鲜有iML系统被开发，而这些领域显然需要透明度和可信度。
• 人机协同范式显著提升了模型的可解释性和鲁棒性，尤其在对抗攻击和低数据场景中表现突出。
• 当前iML评估缺乏标准化基准，原因在于人机交互的主观性和协同适应特性，形成了重大研究缺口。
• 探索性机器学习仍发展不足，现有现代算法中iML功能的整合有限，难以实现实时解释与反馈。
• 通过iML可显著提升低资源学习性能，尤其在计算和数据资源严重受限的机器人和边缘设备中。