[論文レビュー] Xplique: A Deep Learning Explainability Toolbox

Thomas Fel, Lucas Hervier+13 more|arXiv (Cornell University)|Jun 9, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

Xplique は、14種類以上のアトリビューション手法、特徴量可視化、および概念ベースの説明技術（例：CAV、TCAV）を実装した、TensorFlow ベースのディープラーニングの説明可能性ツールボックスであり、関連する評価指標を備えています。研究者がセマンティックマップ、可視化されたニューロンの刺激、人間が理解可能な概念を通じてモデルの意思決定を解釈できるようにし、PyTorch、scikit-learn、Theano との相互運用性を提供します。

ABSTRACT

Today's most advanced machine-learning models are hardly scrutable. The key challenge for explainability methods is to help assisting researchers in opening up these black boxes, by revealing the strategy that led to a given decision, by characterizing their internal states or by studying the underlying data representation. To address this challenge, we have developed Xplique: a software library for explainability which includes representative explainability methods as well as associated evaluation metrics. It interfaces with one of the most popular learning libraries: Tensorflow as well as other libraries including PyTorch, scikit-learn and Theano. The code is licensed under the MIT license and is freely available at github.com/deel-ai/xplique.

研究の動機と目的

• 多様なフレームワークにまたがるディープラーニングモデルの解釈のためのアクセス可能で統合されたツールの不足に対処すること。
• アトリビューション、特徴量可視化、概念ベースの手法を含む、多様な説明可能性パラダイムをサポートする包括的でオープンソースのライブラリを提供すること。
• 説明手法の品質と信頼性を評価するための評価指標を統合すること。
• 説明モジュール間の相互運用性を可能にし、たとえば特徴量可視化を用いて CAV を可視化する、あるいは CAV の重要度を入力特徴量にアトリビュートするなど、相互連携を可能にすること。
• 画像、表形式データ、時系列データを含む多様なデータタイプをサポートし、分野を越えた使いやすさを向上させること。

提案手法

• 入力特徴量のセマンティックマップを生成するため、14種類以上のアトリビューション手法（例：Grad-CAM、GradPR、Integrated Gradients、LRP、SmoothGrad）を実装。
• 特定のニューロン、チャネル、または方向の活性化を最大化するように入力スティムラを最適化する特徴量可視化モジュールを提供。Fourier 前処理などの技術を用いる。
• CAV（Concept Activation Vector）抽出と TCAV（Testing with Concept Activation Vectors）を用いて、人間が理解可能な概念がモデルの予測に与える影響を定量化する概念ベースの説明をサポート。
• モジュール間の相互作用を可能にするモジュラーアプリケーションプログラミングインターフェース（API）を提供。たとえば、CAV を特徴量可視化で可視化する、または CAV の重要度をアトリビューションマップに重ねる。
• TensorFlow、PyTorch、scikit-learn、Theano などの主要なディープラーニングフレームワークを統一インターフェースで統合。
• アトリビューション手法のための標準化された評価指標（例：忠実度、感受性、ロバストネス）を統合し、説明の品質を評価可能にする。

実験結果

リサーチクエスチョン

• RQ1 統合されたソフトウェアライブラリは、ディープラーニングの説明可能性手法のアクセス性と再現性をどのように向上させるか？
• RQ2 特徴量可視化と概念ベースの手法は、アトリビューション手法とどの程度補完的であるか？
• RQ3 評価指標は、異なる説明手法の信頼性と一貫性をどのように評価するのを支援するか？
• RQ4 モジュール間連携（例：CAV の可視化やアトリビューションと概念分析の統合）は、実際の解釈性をどのように向上させるか？
• RQ5 複数のディープラーニングフレームワークとデータモダリティにまたがる説明ツールは、どのように効果的に展開できるか？

主な発見

• Xplique は、14種類以上のアトリビューション手法、特徴量可視化、概念ベースの説明（CAV/TCAV）を統合した包括的でオープンソースのツールボックスを提供し、1つの相互運用可能なフレームワーク内で動作する。
• CAV を解釈可能なスティムラとしてレンダリングする、または CAV の重要度をセマンティックマップに重ねるなど、モジュール間可視化を可能にし、解釈性を向上させる。
• アトリビューション手法のための評価指標がネイティブに統合されており、説明の品質を体系的にベンチマーク可能である。
• 画像、表形式データ、時系列データを含む多様なデータタイプをサポートしており、分野を越えた応用性が向上する。
• TensorFlow、PyTorch、scikit-learn、Theano との相互運用性により、研究および生産環境での広範な採用が可能である。
• ライブラリは MIT ライセンスでリリースされ、GitHub にホスティングされており、オープンアクセスであり、コミュニティ主導の開発が可能である。