[论文解读] A Brief Guide to Designing and Evaluating Human-Centered Interactive Machine Learning

Kory W. Mathewson, Patrick M. Pilarski|arXiv (Cornell University)|Apr 20, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出了一套以人为本的交互式机器学习（IML）系统设计与评估框架，强调通过迭代式、利益相关者参与的开发流程，提升公平性、问责制与可用性。该框架整合了前瞻思维练习、反思性评估与伦理化部署实践，以减轻风险，并使机器学习系统与人类价值观及现实情境保持一致。

ABSTRACT

Interactive machine learning (IML) is a field of research that explores how to leverage both human and computational abilities in decision making systems. IML represents a collaboration between multiple complementary human and machine intelligent systems working as a team, each with their own unique abilities and limitations. This teamwork might mean that both systems take actions at the same time, or in sequence. Two major open research questions in the field of IML are: "How should we design systems that can learn to make better decisions over time with human interaction?" and "How should we evaluate the design and deployment of such systems?" A lack of appropriate consideration for the humans involved can lead to problematic system behaviour, and issues of fairness, accountability, and transparency. Thus, our goal with this work is to present a human-centred guide to designing and evaluating IML systems while mitigating risks. This guide is intended to be used by machine learning practitioners who are responsible for the health, safety, and well-being of interacting humans. An obligation of responsibility for public interaction means acting with integrity, honesty, fairness, and abiding by applicable legal statutes. With these values and principles in mind, we as a machine learning research community can better achieve goals of augmenting human skills and abilities. This practical guide therefore aims to support many of the responsible decisions necessary throughout the iterative design, development, and dissemination of IML systems.

研究动机与目标

• 解决交互式机器学习（IML）系统中缺乏以人为本方法的问题，此类问题常导致公平性、问责制与透明度方面的问题。
• 提供一种结构化、迭代式的设计流程，将人类利益相关者贯穿于开发全过程，以提升系统的可用性并使其与人类价值观保持一致。
• 通过整合前瞻性技术（如事后分析法与设计思维）来减轻IML部署中的风险，以期在早期阶段识别潜在的故障模式。
• 通过透明沟通、利益相关者反馈回路以及用户申诉与监控机制，支持负责任的部署。
• 通过强调社会技术系统设计与伦理责任，弥合理论性IML研究与现实世界应用之间的鸿沟。

提出的方法

• 在项目初期明确可测试的假设，以确立IML系统的目的与评估标准。
• 采用前瞻性练习（如事后分析法与设计思维），在实施前主动识别风险、故障模式与设计权衡。
• 在每个迭代阶段整合人机协同反馈，通过结构化的利益相关者讨论，评估模型影响、可用性与伦理关切。
• 通过消融研究，系统性分析模型复杂度、推理速度、可解释性与计算成本等维度之间的权衡。
• 记录所有实验参数、模型版本与结果，以确保开发周期中可复现性与可追溯性。
• 通过以可用性为重点的测试进行系统部署，包括来自多样化用户的定性反馈，并实施针对对抗性行为与模型安全性的防护措施。

实验结果

研究问题

• RQ1 如何通过持续的人机交互，使IML系统在时间推移中学习得更好，同时保持公平性与透明度？
• RQ2 在部署前，可采用哪些方法主动识别并减轻IML系统设计中的风险？
• RQ3 如何在迭代式开发生命周期的各个阶段，有意义地整合利益相关者的视角、价值观与关切？
• RQ4 哪些评估指标与反馈机制可确保IML系统保持可用性、可解释性，并与人类期望保持一致？
• RQ5 如何负责任地沟通与部署IML系统，确保用户申诉、监控与伦理监督的清晰路径？

主要发现

• 在IML开发的每个阶段融入人类反馈，可显著提升系统的可用性、利益相关者信任度，并增强与现实世界需求的一致性。
• 前瞻性技术（如事后分析法）有助于在设计初期识别潜在的故障模式与伦理风险，从而减少下游伤害。
• 通过多样化利益相关者的迭代评估，可揭示关于模型影响、权力关系与感知公平性的关键洞察，而这些是仅靠定量指标无法捕捉的。
• 系统性的权衡分析（包括消融研究）可支持更明智的决策，涉及模型复杂度、速度与可解释性之间的取舍。
• 可用性与定性用户反馈是感知模型质量与采纳率的强预测因子，其影响力常超过原始性能指标。
• 透明沟通、开源代码与模型，以及清晰的文档，是IML部署中实现可复现性与公众问责制的关键要素。