[논문 리뷰] Captum: A unified and generic model interpretability library for PyTorch

Narine Kokhlikyan, Vivek Miglani외 9명|arXiv (Cornell University)|2020. 09. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 18인용 수 630

한 줄 요약

Captum은 gradient 및 perturbation 기반 특성화에 대한 단일화된 오픈 소스 PyTorch 라이브러리로, 확장 가능하고 다중 모드 지원 및 모델 디버깅을 위한 대화형 시각화 도구를 제공합니다.

ABSTRACT

In this paper we introduce a novel, unified, open-source model interpretability library for PyTorch [12]. The library contains generic implementations of a number of gradient and perturbation-based attribution algorithms, also known as feature, neuron and layer importance algorithms, as well as a set of evaluation metrics for these algorithms. It can be used for both classification and non-classification models including graph-structured models built on Neural Networks (NN). In this paper we give a high-level overview of supported attribution algorithms and show how to perform memory-efficient and scalable computations. We emphasize that the three main characteristics of the library are multimodality, extensibility and ease of use. Multimodality supports different modality of inputs such as image, text, audio or video. Extensibility allows adding new algorithms and features. The library is also designed for easy understanding and use. Besides, we also introduce an interactive visualization tool called Captum Insights that is built on top of Captum library and allows sample-based model debugging and visualization using feature importance metrics.

연구 동기 및 목표

• 다중 모달(이미지, 텍스트, 오디오, 비디오)에 걸쳐 그래디언트 및 섭동 기여도 알고리즘을 구현하는 일반적인 PyTorch 기반 프레임워크를 제공한다.
• 큰 모델과 입력에 대한 기여도 계산을 위해 확장 가능하고 메모리 효율적인 계산을 가능하게 한다.
• 모델 및 알고리즘에 의존하지 않는 무오류도(Infidelity) 및 max-sensitivity라는 평가 지표를 제공하여 기여도 품질을 평가한다.
• 모델 디버깅과 이해를 촉진하기 위한 대화형 시각화 도구(Captum Insights)를 제공한다.
• 연구 및 생산 사용을 쉽게 확장 가능하고 통합 API를 제공하여 지원한다.

제안 방법

• 통합 API를 가진 그래디언트 기반 및 섭동 기반 기여도 알고리즘(주요 기여도, 뉴런 기여도, 레이어 기여도)을 구현한다.
• 입력을 청크로 나누고 GPU 전반의 DataParallel을 가능하게 하여 메모리 효율적인 계산을 제공한다.
• Infidelity와 maximum sensitivity의 두 가지 일반적 평가 지표를 기여도에 포함한다.
• 비전 영역이 아닌 도메인을 포함한 다중 모달 입력과 모델을 확장 가능한 실행으로 지원한다.
• 기여도에 대한 샘플 기반의 대화형 시각화를 제공하는 Captum Insights를 도입한다.

실험 결과

연구 질문

• RQ1 다른 모델 모달리티에 걸쳐 attribution 방법을 단일 PyTorch 호환 API로 통합할 수 있는 방법은 무엇인가?
• RQ2 메모리 폭발 없이 큰 모델과 입력에 대한 attribution 계산을 어떻게 확장할 수 있는가?
• RQ3 Infidelity와 maximum sensitivity와 같은 일반적 평가 지표가 작업과 알고리즘 전반에 걸쳐 기여도 품질을 효과적으로 평가하는가?
• RQ4 인터랙티브 도구(Captum Insights)가 여러 도메인에 걸쳐 모델 디버깅과 해석에 의미 있게 도움을 줄 수 있는가?

주요 결과

GPU 수	실행 시간(초)	Int. Grads	Feature Abl.
1	41.62	140.4
4	26.41	38.39
8	15.06	22.02

• Captum은 모든 PyTorch 모델 및 모달리티에 적용 가능한 다수의 gradient 및 perturbation 기반 기여도 방법의 일반적인 구현을 제공한다.
• 실험적 결과는 입력 청킹과 다중 GPU DataParallel을 통한 메모리 효율적 확장을 보여주며 런타임을 크게 감소시킨다.
• Infidelity와 maximum sensitivity의 두 평가 지표가 구현되어 방법과 모델 간에 기여도 품질을 평가한다.
• Captum은 컴퓨터 비전뿐만 아니라 텍스트 및 다중 모달 모델에도 적용 가능함을 보여주며 시각화는 디버깅을 지원한다.
• 대화형 도구인 Captum Insights는 샘플별 기여도 탐색과 모달리티 인식 분석을 가능하게 한다.