[论文解读] Concept Embedding Analysis: A Review

Gesina Schwalbe|arXiv (Cornell University)|Mar 25, 2022

Machine Learning and ELM被引用 12

一句话总结

本文对概念嵌入分析（CA）这一可解释人工智能（XAI）子领域进行了全面综述，该领域通过简单模型（如概念激活向量，CAV）将人类可理解的语义概念（例如‘眼睛’、‘有胡须的’）与深度神经网络（DNN）的内部表征相联系。本文建立了正式定义，提出了用于分类CA方法的分类法，并综述了30余种方法，突出展示了其在模型验证、蒸馏和审计中的应用，同时指出了数据稀缺和概念选择等关键挑战。

ABSTRACT

Deep neural networks (DNNs) have found their way into many applications with potential impact on the safety, security, and fairness of human-machine-systems. Such require basic understanding and sufficient trust by the users. This motivated the research field of explainable artificial intelligence (XAI), i.e. finding methods for opening the "black-boxes" DNNs represent. For the computer vision domain in specific, practical assessment of DNNs requires a globally valid association of human interpretable concepts with internals of the model. The research field of concept (embedding) analysis (CA) tackles this problem: CA aims to find global, assessable associations of humanly interpretable semantic concepts (e.g., eye, bearded) with internal representations of a DNN. This work establishes a general definition of CA and a taxonomy for CA methods, uniting several ideas from literature. That allows to easily position and compare CA approaches. Guided by the defined notions, the current state-of-the-art research regarding CA methods and interesting applications are reviewed. More than thirty relevant methods are discussed, compared, and categorized. Finally, for practitioners, a survey of fifteen datasets is provided that have been used for supervised concept analysis. Open challenges and research directions are pointed out at the end.

研究动机与目标

• 为概念嵌入分析（CA）建立一个正式且通用的定义，以统一该领域的术语。
• 开发一个全面的分类法，使基于类型、输入、输出和监督方式的CA方法能够系统性比较。
• 综述并分类30余种最先进的CA方法，突出其优势与局限性。
• 调查15个带有概念注释的数据集，以支持监督型CA研究。
• 识别CA中的开放挑战与未来研究方向，尤其针对自动驾驶等安全关键型应用。

提出的方法

• 提出CA的正式定义，即通过简单辅助模型将人类可理解的语义概念与DNN的中间表征相联系。
• 引入一种分类法，沿多个维度对CA方法进行分类，包括概念模型类型（如向量、子空间）、输入模态（如图像、文本）、输出表征以及监督类型（如监督、弱监督）。
• 综述并比较了30余种CA方法，包括NetDissect、CAV、ACE和概念瓶颈模型，重点关注其设计、假设与性能表现。
• 分析概念输出在模型蒸馏、干预与验证中的应用，展示其在安全与公平性评估中的实际效用。
• 整理了一份精选的15个数据集列表，包含概念级注释，按使用场景与数据特征进行分类，以支持方法评估。
• 识别出关键的方法论空白，如缺乏稳健的无监督和线性CA方法，以及对最小但完整的概念集合的迫切需求。

实验结果

研究问题

• RQ1 如何对概念嵌入分析进行正式定义，以统一文献中多样化的方法？
• RQ2 CA方法的关键分类维度是什么？它们在输入、输出和监督方式上的差异如何？
• RQ3 哪些CA方法在全局、可解释地分析DNN内部结构方面最为有效？其局限性是什么？
• RQ4 CA在安全关键系统中的模型验证、蒸馏与干预中如何实现实际应用？
• RQ5 CA中的主要开放挑战是什么，尤其是关于数据可用性、概念选择以及复杂模型可扩展性方面？

主要发现

• 本文建立了CA的标准化定义与分类法，使现有方法能够系统比较并准确定位。
• 综述并分类了30余种CA方法，揭示了基于监督类型与模型架构的若干方法家族，其中概念瓶颈模型在整合归纳偏置方面展现出潜力。
• 综述发现，大多数CA方法在小型、非工业级模型上进行评估，限制了其在自动驾驶感知等真实系统中的适用性。
• 仅有两种方法（CSPP与Schwalbe, 2021）处理了如目标检测等复杂任务，且在扩展至更大模型时仍表现出性能下降。
• 整理出一份包含15个数据集的完整列表，均带有概念注释，为CA方法的训练与评估提供了关键资源。
• 关键开放挑战依然存在：缺乏大规模、丰富注释的数据集；无监督与线性CA方法的改进需求；以及构建最小但完整的概念集合以实现有效DNN解释。