[論文レビュー] Captum: A unified and generic model interpretability library for PyTorch

Narine Kokhlikyan, Vivek Miglani+9 more|arXiv (Cornell University)|Sep 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 18被引用数 630

ひとこと要約

Captum は勾配と摂動ベースのアトリビューションのための、統一されたオープンソース PyTorch ライブラリであり、スケーラブルでマルチモーダルをサポートし、モデルデバッグのための対話型視覚化ツールを備える。

ABSTRACT

In this paper we introduce a novel, unified, open-source model interpretability library for PyTorch [12]. The library contains generic implementations of a number of gradient and perturbation-based attribution algorithms, also known as feature, neuron and layer importance algorithms, as well as a set of evaluation metrics for these algorithms. It can be used for both classification and non-classification models including graph-structured models built on Neural Networks (NN). In this paper we give a high-level overview of supported attribution algorithms and show how to perform memory-efficient and scalable computations. We emphasize that the three main characteristics of the library are multimodality, extensibility and ease of use. Multimodality supports different modality of inputs such as image, text, audio or video. Extensibility allows adding new algorithms and features. The library is also designed for easy understanding and use. Besides, we also introduce an interactive visualization tool called Captum Insights that is built on top of Captum library and allows sample-based model debugging and visualization using feature importance metrics.

研究の動機と目的

• 画像、テキスト、音声、映像といった複数のモダリティに跨がる勾配および摂動アトリビューションアルゴリズムを実装する、一般的な PyTorch ベースのフレームワークを提供する。
• 大規模なモデルと入力に対するアトリビューションの計算を、スケーラブルでメモリ効率的に実行できるようにする。
• アトリビューションの品質を評価するための、モデル・アルゴリズムに依存しない評価指標（不忠実性infidelityと最大感度max-sensitivity）を提供する。
• モデルのデバッグと理解を促進する、対話型の視覚化ツール（Captum Insights）を提供する。
• 拡張の容易さと統一 API を備え、研究と実運用の両方をサポートする。

提案手法

• 統一 API で、勾配ベースおよび摂動ベースのアトリビューションアルゴリズム（プライマリ、ニューロン、レイヤーアトリビューション）を実装する。
• 入力をチャンク化し、GPU間で DataParallel を有効化することで、メモリ効率の高い計算を提供する。
• アトリビューションの評価指標として、infidelity と maximum sensitivity の2つの一般的な指標を含める。
• 非視覚領域を含む多モダリティの入力とモデルを、スケーラブルな実行でサポートする。
• アトリビューションのインタラクティブでサンプルベースの視覚化のための Captum Insights を導入する。

実験結果

リサーチクエスチョン

• RQ1 異なるモデルモダリティにまたがって、アトリビューション手法を1つの PyTorch 互換 API の下に統一するにはどうすればよいか？
• RQ2 メモリの膨張を伴わずに、巨大なモデルと入力に対するアトリビューション計算をどのようにスケールさせるか？
• RQ3 infidelity や maximum sensitivity のような一般的な評価指標は、タスクやアルゴリズムを横断してアトリビューションの品質を効果的に評価できるのか？
• RQ4 インタラクティブツール（Captum Insights）は、ドメインを横断してモデルのデバッグと解釈を意味ある形で支援できるか？

主な発見

GPUの数	実行時間（秒）	Int. Grads	特徴アブレーション
1	41.62	140.4
4	26.41	38.39
8	15.06	22.02

• Captum は、任意の PyTorch モデルとモダリティに適用可能な、多くの勾配ベースおよび摂動ベースのアトリビューション手法の一般的な実装を提供する。
• 実証結果は、入力のチャンク化とマルチGPU DataParallel によるメモリ効率の高いスケーリングを示し、実行時間を大幅に削減する。
• infidelity と maximum sensitivity の2つの評価指標が、手法とモデルを横断してアトリビューション品質を評価するために実装されている。
• Captum は、テキストおよびマルチモーダルモデルにも適用性を示し、視覚化はデバッグを支援する。
• 対話型ツールである Captum Insights は、サンプル単位のアトリビューション探索とモダリティ認識分析を可能にする。