[论文解读] Human-in-the-loop Extraction of Interpretable Concepts in Deep Learning Models

Zhenge Zhao, Panpan Xu+2 more|arXiv (Cornell University)|Aug 8, 2021

Explainable Artificial Intelligence (XAI)参考文献 51被引用 6

一句话总结

本文提出了一种人机协同的主动学习框架，使用户能够以最少的标注工作量，高效地从深度学习模型中提取可解释的视觉概念。通过将人类反馈整合到概念提取过程中，该方法提升了模型的可解释性，识别出影响性能的特征，并通过数据增强持续提升模型准确率。

ABSTRACT

The interpretation of deep neural networks (DNNs) has become a key topic as more and more people apply them to solve various problems and making critical decisions. Concept-based explanations have recently become a popular approach for post-hoc interpretation of DNNs. However, identifying human-understandable visual concepts that affect model decisions is a challenging task that is not easily addressed with automatic approaches. We present a novel human-in-the-loop approach to generate user-defined concepts for model interpretation and diagnostics. Central to our proposal is the use of active learning, where human knowledge and feedback are combined to train a concept extractor with very little human labeling effort. We integrate this process into an interactive system, ConceptExtract. Through two case studies, we show how our approach helps analyze model behavior and extract human-friendly concepts for different machine learning tasks and datasets and how to use these concepts to understand the predictions, compare model performance and make suggestions for model refinement. Quantitative experiments show that our active learning approach can accurately extract meaningful visual concepts. More importantly, by identifying visual concepts that negatively affect model performance, we develop the corresponding data augmentation strategy that consistently improves model performance.

研究动机与目标

• 解决识别影响深度神经网络决策的、人类可理解的视觉概念的挑战。
• 通过结合人类反馈的主动学习，减少概念提取过程中的人工标注工作量。
• 开发一种交互式系统，支持基于用户定义概念的模型诊断与优化。
• 通过识别并缓解负面视觉概念的影响，利用数据增强提升模型性能。
• 实现在多种数据集和任务上可解释的、由用户驱动的模型行为分析。

提出的方法

• 该方法使用主动学习，迭代选择最具有信息量的样本供人工标注，从而最小化所需标注数量。
• 利用人工标注数据训练概念提取器，以识别与模型预测相关的视觉概念。
• 交互式系统 ConceptExtract 允许用户实时标注和优化概念，并将反馈整合到模型中。
• 使用用户定义的概念分析模型行为，检测偏差，并指导模型优化。
• 识别出影响性能的负面概念，并据此设计针对性的数据增强策略。
• 该框架在多个数据集和任务上进行了评估，证明了其可扩展性和有效性。

实验结果

研究问题

• RQ1 人机协同的主动学习在提取有意义且可解释的视觉概念时，如何减少标注工作量？
• RQ2 用户定义的概念在多大程度上能提升模型的可解释性和诊断能力？
• RQ3 识别出的负面视觉概念能否用于设计有效的数据增强策略？
• RQ4 与完全自动化的概念提取方法相比，该方法在准确率和可解释性方面表现如何？
• RQ5 提取出的概念在哪些方面能够提升模型性能和泛化能力？

主要发现

• 主动学习方法在仅需极少人工标注的情况下，实现了高精度的有意义视觉概念提取。
• 该系统成功识别出显著影响模型性能的视觉概念。
• 基于识别出的负面概念进行数据增强，显著提升了模型准确率。
• 该方法在多种数据集和任务上均实现了有效的模型诊断与优化。
• 用户反馈显著提升了提取概念的可解释性和相关性。
• 该框架在真实世界模型解释场景中展现出良好的可扩展性和实际应用价值。