[論文レビュー] Contextual Prediction Difference Analysis.

Jindong Gu, Volker Tresp|arXiv (Cornell University)|Oct 21, 2019

Explainable Artificial Intelligence (XAI)参考文献 39被引用数 7

ひとこと要約

本稿では、文脈的摂動を用いて特徴量の重要度を効率的に推定することで、ブラックボックス分類器の解釈を高速化・向上させる、モデルに依存しない手法である文脈的予測差分分析（CPDA）を提案する。従来のPDAのような手法が飽和するニューラルネットワーク分類器においては限界が生じるが、CPDAは最高で100倍の高速化を達成しながら、最先端のディープラーニングおよび商用ビジョンシステムにおいても高品質なサリエンシーマップを維持する。

ABSTRACT

The interpretation of black-box models has been investigated in recent years. A number of model-aware saliency methods were proposed to explain individual classification decisions by creating saliency maps. However, they are not applicable when the parameters and the gradients of the underlying models are unavailable. Recently, model-agnostic methods have received increased attention. As one of them, Prediction Difference Analysis (PDA), a probabilistic sound methodology, was proposed. In this work, we first show that PDA can suffer from saturated classifiers. The saturation phenomenon of classifiers exists widely in current neural network-based classifiers. To understand the decisions of saturated classifiers better, we further propose Contextual PDA, which runs hundreds of times faster than PDA. The experiments show the superiority of our method by explaining image classifications of the state-of-the-art deep convolutional neural networks. We also apply our method to commercial general vision recognition systems.

研究の動機と目的

• 飽和するニューラルネットワーク分類器に適用されたモデルに依存しない解釈手法（例：PDA）の限界を解消すること。
• 計算コストを低減しつつ確率論的に整合性を保ちながら、PDAの代替手段としてより高速で信頼性の高い手法を開発すること。
• 高性能なディープ畳み込みニューラルネットワークおよび商用ビジョンシステムの効果的解釈を可能にすること。
• 勾配やモデルパラメータが入手不可な状況において、サリエンシーマップの忠実性と効率性を向上させること。

提案手法

• CPDAは、局所的な特徴統計に基づいて入力摂動を選択する文脈的摂動戦略を導入し、分散を低減し収束性を向上させる。
• PDAと類似した確率的フレームワークを採用しているが、文脈に適した特徴マスキングを用いてサンプリングプロセスを最適化し、収束を加速する。
• 入力の局所的近傍に基づいて摂動分布を動的に適応させることで、前方伝搬の回数を削減する。
• モンテカルロ近似と分散低減技術を組み合わせ、予測差分の推定を効率的に行う。
• 勾配やモデルパラメータに依存しないため、商用APIを含むブラックボックスシステムにも適用可能である。
• アルゴリズムは計算的に効率的であり、PDAに比べて最高で100倍の高速化を達成しながら、解釈品質を保持する。

実験結果

リサーチクエスチョン

• RQ1 モデルに依存しない解釈手法は、飽和するディープニューラルネットワークにおいて、計算時間を大幅に短縮しながらも忠実性を維持できるか？
• RQ2 入力摂動における文脈的情報は、サリエンシーマップの安定性と正確性にどのように影響するか？
• RQ3 最先端のモデルにおいて、CPDAはPDAに比べてどれほど速度と解釈品質で優れているか？
• RQ4 モデル内部が非公開である商用ビジョン認識システムの意思決定を、CPDAは効果的に解釈できるか？
• RQ5 現代のニューラルネットワーク分類器で観察される飽和現象に対して、CPDAはどれほど頑健か？

主な発見

• CPDAは、ディープ畳み込みニューラルネットワークにおいて、PDAに比べて最高で100倍の高速化を達成しながら、同等またはそれ以上の解釈品質を維持する。
• 文脈に適した摂動サンプリングのおかげで、サリエンシーマップの安定性が向上し、分散が低減する。
• PDAが勾配の飽和と収束不良により失敗する状況においても、CPDAは飽和分類器の意思決定を効果的に解釈できる。
• 最先端のモデルを用いた実験では、CPDAがベースライン手法よりも正確で局所化されたサリエンシーマップを生成する。
• 商用ビジョンAPIの予測を解釈する実験により、CPDAが実世界のブラックボックスシステムへの適用可能性を確認した。
• 定量的評価により、CPDAが高飽和状態下でも、真値の解釈と高い忠実性を維持していることが確認された。