[论文解读] AI-in-the-Loop -- The impact of HMI in AI-based Application

Julius Schöning, Clemens Westerkamp|arXiv (Cornell University)|Mar 21, 2023

Age of Information Optimization被引用 4

一句话总结

本文提出一种AI-人机协同（AI-in-the-loop）框架，将人机交互（HMI）早期整合到AI开发中，以设计适用于嵌入式系统的轻量化、高效神经网络架构。通过在AI架构设计阶段采用直观的HMI，该方法可识别并移除无效层，降低计算开销，实现实时、可解释的AI推理，并在不确定性出现时由人类进行监督。

ABSTRACT

Artificial intelligence (AI) and human-machine interaction (HMI) are two keywords that usually do not fit embedded applications. Within the steps needed before applying AI to solve a specific task, HMI is usually missing during the AI architecture design and the training of an AI model. The human-in-the-loop concept is prevalent in all other steps of developing AI, from data analysis via data selection and cleaning to performance evaluation. During AI architecture design, HMI can immediately highlight unproductive layers of the architecture so that lightweight network architecture for embedded applications can be created easily. We show that by using this HMI, users can instantly distinguish which AI architecture should be trained and evaluated first since a high accuracy on the task could be expected. This approach reduces the resources needed for AI development by avoiding training and evaluating AI architectures with unproductive layers and leads to lightweight AI architectures. These resulting lightweight AI architectures will enable HMI while running the AI on an edge device. By enabling HMI during an AI uses inference, we will introduce the AI-in-the-loop concept that combines AI's and humans' strengths. In our AI-in-the-loop approach, the AI remains the working horse and primarily solves the task. If the AI is unsure whether its inference solves the task correctly, it asks the user to use an appropriate HMI. Consequently, AI will become available in many applications soon since HMI will make AI more reliable and explainable.

研究动机与目标

• 解决AI开发早期阶段（特别是嵌入式应用的架构设计阶段）缺乏人机协同（HMI）的问题。
• 通过在交互式HMI下识别并消除卷积神经网络（CNN）中的冗余层，降低AI模型开发的计算开销。
• 通过在推理阶段集成最小化HMI，实现在嵌入式系统中可靠、安全且可解释的AI，使人类专家能在AI判断不确定时介入。
• 通过从完全自动化转向协作式AI-人机协同系统，加速AI在安全与安全关键型嵌入式应用中的部署。
• 通过轻量化、HMI优化的架构，弥合高复杂度AI模型与资源受限嵌入式硬件之间的差距。

提出的方法

• 引入用户界面（UI），可视化并评估CNN各层在架构设计阶段的生产力，实现对冗余或无效组件的即时识别。
• 在AI架构设计阶段应用人机交互（HMI）概念，引导开发人员仅选择必要层，从而构建轻量化、高效的神经网络。
• 采用交互式可视化技术，将高维AI表征转化为人类可理解的问题描述，支持更明智的设计决策。
• 实施AI-人机协同推理机制，当AI预测置信度低于阈值时主动请求人类输入，确保系统安全与可靠性。
• 在嵌入式AI系统中集成最小化HMI，支持领域专家实时验证或修正AI决策，尤其在关键或模糊情境下。
• 利用现有可解释性技术（如显著性图、注意力可视化）指导HMI设计，提升推理过程中的透明度。

实验结果

研究问题

• RQ1 如何在AI架构设计阶段有效集成HMI，以降低嵌入式AI系统的计算复杂度？
• RQ2 交互式HMI在训练前识别CNN架构中无效层方面发挥何种作用？
• RQ3 通过HMI引导的设计，能在多大程度上开发出轻量化AI架构？其在边缘设备上的推理效率如何？
• RQ4 AI-人机协同概念如何提升安全关键型嵌入式AI应用中的可靠性与可解释性？
• RQ5 在AI推理过程中引入最小化HMI的实际效益是什么，特别是在降低未被检测到的错误风险方面？

主要发现

• 在AI架构设计阶段集成HMI，可即时识别无效层，显著降低模型复杂度与计算需求。
• 通过早期移除冗余层，所生成的轻量化AI架构更适用于资源受限的嵌入式系统部署。
• AI-人机协同方法减少了对次优架构进行大规模训练与评估的需求，从而缩短开发时间并降低资源消耗。
• 推理阶段的交互式HMI使领域专家能在AI判断不确定时介入，显著提升关键应用中的系统可靠性与安全性。
• 该方法通过UI设计将复杂模型表征转化为人类可理解的反馈，支持可解释AI的开发。
• 研究表明，在AI推理过程中集成最小化HMI是实现安全、可靠、可信AI在嵌入式系统中部署的可行且有效途径。