[论文解读] Explainable Artificial Intelligence (XAI) for Internet of Things: A Survey

İbrahim Kök, Feyza Yıldırım Okay+2 more|arXiv (Cornell University)|Jun 7, 2022

Explainable Artificial Intelligence (XAI)被引用 10

一句话总结

本文对物联网（IoT）领域中的可解释人工智能（XAI）进行了全面综述，分析了XAI技术、其与物联网应用的集成方式以及关键挑战。提出了物联网中XAI方法的系统性分类体系，识别了信任、安全性和可解释性度量等开放性问题，并为分布式物联网系统中可解释性、安全性及应用特定的AI研究指明了未来方向。

ABSTRACT

Black-box nature of Artificial Intelligence (AI) models do not allow users to comprehend and sometimes trust the output created by such model. In AI applications, where not only the results but also the decision paths to the results are critical, such black-box AI models are not sufficient. Explainable Artificial Intelligence (XAI) addresses this problem and defines a set of AI models that are interpretable by the users. Recently, several number of XAI models have been to address the issues surrounding by lack of interpretability and explainability of black-box models in various application areas such as healthcare, military, energy, financial and industrial domains. Although the concept of XAI has gained great deal of attention recently, its integration into the IoT domain has not yet been fully defined. In this paper, we provide an in-depth and systematic review of recent studies using XAI models in the scope of IoT domain. We categorize the studies according to their methodology and applications areas. In addition, we aim to focus on the challenging problems and open issues and give future directions to guide the developers and researchers for prospective future investigations.

研究动机与目标

• 解决现有文献中缺乏对XAI在物联网领域集成的全面综述的问题。
• 为该领域的新手研究人员明确XAI术语、分类体系及方法论。
• 分析XAI在智慧城市、医疗保健和工业系统等物联网用例中的当前应用。
• 识别XAI在物联网中面临的关键挑战，包括信任、安全性和可解释性度量。
• 为分布式物联网体系结构中可扩展、安全且应用特定的XAI提出未来研究方向。

提出的方法

• 对按方法论和应用领域分类的物联网中XAI应用进行系统性文献综述。
• 提出XAI技术的分类体系，包括事后解释、内在可解释性及模型特定方法。
• 分析XAI与物联网之间的协同作用，以增强人工智能驱动的物联网系统中的透明度、信任度和决策可问责性。
• 从可解释性、忠实度和完整性角度评估XAI方法，特别关注真实物联网环境下的约束条件。
• 将联邦学习与XAI结合，实现在边缘节点的本地解释生成以及在云服务器的全局解释。
• 提出面向特定应用的XAI接口，以根据可穿戴设备和纳米物联网系统中的领域特定需求定制解释。

实验结果

研究问题

• RQ1 如何有效将XAI技术集成到物联网系统中，以提升透明度和用户信任？
• RQ2 物联网应用中使用的XAI关键方法类别是什么？它们在性能和可解释性方面有何差异？
• RQ3 在资源受限、分布式的物联网环境中应用XAI面临的主要挑战是什么？
• RQ4 如何在保持可解释性的同时，保护XAI模型免受对抗性攻击和操纵？
• RQ5 为实现物联网中可扩展、可靠且领域感知的可解释AI，未来需要哪些研究方向？

主要发现

• 在XAI的物联网应用方面存在显著的研究空白，因为此前尚无综述全面考察XAI技术在物联网背景下的应用。
• XAI通过揭示特征重要性和决策路径，增强了医疗保健和自动驾驶系统等关键物联网应用中的决策透明度。
• 当前的XAI方法往往缺乏用于衡量完整性和准确性的标准化度量，导致研究间评估不一致。
• XAI模型易受对抗性攻击，攻击者可利用可解释性机制，通过微小的输入扰动操纵模型输出。
• 模型特定的XAI方法相比事后方法具有更高的保真度，但结合多种XAI技术可提升解释的完整性。
• 联邦学习与XAI结合，可在边缘节点实现本地化、隐私保护的解释，同时在云服务器支持全局模型解释。