[论文解读] Captum: A unified and generic model interpretability library for PyTorch

Narine Kokhlikyan, Vivek Miglani+9 more|arXiv (Cornell University)|Sep 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 18被引用 630

一句话总结

Captum 提供一个统一的、开源的 PyTorch 库，用于基于梯度和扰动的归因，具备可扩展的多模态支持，以及一个用于模型调试的交互式可视化工具。

ABSTRACT

In this paper we introduce a novel, unified, open-source model interpretability library for PyTorch [12]. The library contains generic implementations of a number of gradient and perturbation-based attribution algorithms, also known as feature, neuron and layer importance algorithms, as well as a set of evaluation metrics for these algorithms. It can be used for both classification and non-classification models including graph-structured models built on Neural Networks (NN). In this paper we give a high-level overview of supported attribution algorithms and show how to perform memory-efficient and scalable computations. We emphasize that the three main characteristics of the library are multimodality, extensibility and ease of use. Multimodality supports different modality of inputs such as image, text, audio or video. Extensibility allows adding new algorithms and features. The library is also designed for easy understanding and use. Besides, we also introduce an interactive visualization tool called Captum Insights that is built on top of Captum library and allows sample-based model debugging and visualization using feature importance metrics.

研究动机与目标

• 提供一个通用的、基于 PyTorch 的框架，实现跨多模态（图像、文本、音频、视频）的梯度和扰动归因算法。
• 实现对大型模型和输入的归因计算的可扩展、内存高效计算。
• 提供评估指标（失真度和最大敏感性），对归因质量进行模型和算法无关的评估。
• 提供一个交互式可视化工具（Captum Insights），以促进模型调试和理解。
• 通过易于扩展和统一 API，支持研究和生产使用。

提出的方法

• 用统一 API 实现基于梯度和基于扰动的归因算法（主要归因、神经元归因和层归因）。
• 通过分块输入并在多GPU 上启用 DataParallel，实现内存效率的计算。
• 包括两种通用的归因评估指标：失真度和最大敏感性。
• 支持多模态输入和模型，包括非视觉领域，进行可扩展执行。
• 引入 Captum Insights，用于交互式、基于样本的归因可视化。

实验结果

研究问题

• RQ1 如何在单一的 PyTorch 兼容 API 下，将归因方法统一到不同模型模态？
• RQ2 如何在不产生内存超限的情况下，将归因计算扩展到大型模型和输入？
• RQ3 像失真度和最大敏感性这样的通用评估指标，是否能在不同任务和算法中有效评估归因质量？
• RQ4 一个交互工具（Captum Insights）是否能在跨领域有效帮助模型调试和理解？

主要发现

• Captum 提供适用于任何 PyTorch 模型和模态的多种基于梯度和扰动的归因方法的通用实现。
• 经验结果显示，通过输入分块和多 GPU DataParallel 实现内存高效扩展，显著降低运行时间。
• 实现了两种评估指标，失真度和最大敏感性，用于评估不同方法和模型的归因质量。
• Captum 展示了对文本和多模态模型的适用性，不仅限于计算机视觉，且可视化支持调试。
• 一个交互式工具 Captum Insights，使样本级归因探索和模态感知分析成为可能。