[论文解读] Explainable Activity Recognition for Smart Home Systems

Devleena Das, Yasutaka Nishimura+5 more|arXiv (Cornell University)|May 20, 2021

Context-Aware Activity Recognition Systems被引用 4

一句话总结

本文提出了一种用于智能家居的可解释活动识别（XAR）框架，采用LIME、SHAP和Anchors生成自然语言解释，以说明HAR模型的预测结果。结果表明，基于SHAP的解释最为有效，其可理解性达92%，并提升了用户信心，83%的用户更倾向于选择解释而非简单标签。

ABSTRACT

Smart home environments are designed to provide services that help improve the quality of life for the occupant via a variety of sensors and actuators installed throughout the space. Many automated actions taken by a smart home are governed by the output of an underlying activity recognition system. However, activity recognition systems may not be perfectly accurate and therefore inconsistencies in smart home operations can lead users reliant on smart home predictions to wonder "why did the smart home do that?" In this work, we build on insights from Explainable Artificial Intelligence (XAI) techniques and introduce an explainable activity recognition framework in which we leverage leading XAI methods to generate natural language explanations that explain what about an activity led to the given classification. Within the context of remote caregiver monitoring, we perform a two-step evaluation: (a) utilize ML experts to assess the sensibility of explanations, and (b) recruit non-experts in two user remote caregiver monitoring scenarios, synchronous and asynchronous, to assess the effectiveness of explanations generated via our framework. Our results show that the XAI approach, SHAP, has a 92% success rate in generating sensible explanations. Moreover, in 83% of sampled scenarios users preferred natural language explanations over a simple activity label, underscoring the need for explainable activity recognition systems. Finally, we show that explanations generated by some XAI methods can lead users to lose confidence in the accuracy of the underlying activity recognition model. We make a recommendation regarding which existing XAI method leads to the best performance in the domain of smart home automation, and discuss a range of topics for future work to further improve explainable activity recognition.

研究动机与目标

• 为解决智能家居活动识别系统中可解释性不足的问题，避免预测错误时导致用户困惑。
• 探究XAI技术如何被适配以生成针对多变量智能家居传感器数据的可解释、自然语言形式的解释。
• 评估不同XAI方法（LIME、SHAP、Anchors）在提升远程护理人员监控场景中用户信任与理解力方面的有效性。
• 确定自然语言解释是否能在同步与异步监控场景下，提升用户对HAR模型预测结果的信心与偏好，相较于仅提供简单活动标签。

提出的方法

• 该框架保留了多变量传感器数据，包括时间步与事件级信息，以维持活动识别的上下文完整性。
• 应用三种最先进的XAI方法——LIME、SHAP和Anchors——提取特征对HAR模型预测的贡献度。
• 将每种XAI方法的输出映射到基于模板的自然语言解释，将模型可解释性转化为人类可读的形式。
• 通过两项用户研究对系统进行评估：一项面向机器学习专家，评估解释的可理解性与计算效率；另一项面向非专家用户，在远程护理人员监控场景中进行测试。
• 为真实世界智能家居场景中的活动误分类生成解释，以检验其清晰度及对用户认知的影响。
• 通过用户研究对比用户在仅提供标签与提供XAI生成解释两种情境下对HAR模型的偏好与感知信心。

实验结果

研究问题

• RQ1 在多变量智能家居传感器数据中，哪种XAI方法（LIME、SHAP、Anchors）能生成最具可理解性与可解释性的解释？
• RQ2 在远程护理人员监控场景中，用户如何感知并更倾向于自然语言解释，而非简单活动标签？
• RQ3 XAI生成的解释在多大程度上提升了或降低了用户对底层HAR模型准确性的信心？
• RQ4 当智能家居系统中发生活动识别错误时，XAI解释能否有效减少用户困惑？

主要发现

• 基于SHAP的解释在机器学习专家评估中获得了92%的可理解性成功率，优于LIME和Anchors。
• 在用户研究中，83%的参与者更倾向于自然语言解释而非简单活动标签，表明对可解释性存在强烈需求。
• SHAP解释在提升用户对HAR模型预测结果的信心方面最为有效，尤其在同步与异步监控场景中表现突出。
• 部分XAI方法（尤其是SHAP）增强了用户信任，而其他方法则导致用户信心下降，凸显了方法选择的重要性。
• 研究发现用户对解释的偏好存在差异，提示应根据个体用户需求提供可定制的解释类型。
• 结果表明，可解释的HAR系统可显著提升智能家居自动化中的透明度与信任度，尤其在关键医疗保健场景中。