[論文レビュー] RISE: Randomized Input Sampling for Explanation of Black-box Models

Vitali Petsiuk, Abir Das+1 more|arXiv (Cornell University)|Jun 19, 2018

Explainable Artificial Intelligence (XAI)被引用数 207

ひとこと要約

RISEは、ブラックボックスの画像分類器をランダムにマスクされた入力で検証し、画素ごとの顕性マップを構築します。自動因果指標（削除/挿入）と人間中心の指差ゲームで評価されます。

ABSTRACT

Deep neural networks are being used increasingly to automate data analysis and decision making, yet their decision-making process is largely unclear and is difficult to explain to the end users. In this paper, we address the problem of Explainable AI for deep neural networks that take images as input and output a class probability. We propose an approach called RISE that generates an importance map indicating how salient each pixel is for the model's prediction. In contrast to white-box approaches that estimate pixel importance using gradients or other internal network state, RISE works on black-box models. It estimates importance empirically by probing the model with randomly masked versions of the input image and obtaining the corresponding outputs. We compare our approach to state-of-the-art importance extraction methods using both an automatic deletion/insertion metric and a pointing metric based on human-annotated object segments. Extensive experiments on several benchmark datasets show that our approach matches or exceeds the performance of other methods, including white-box approaches. Project page: http://cs-people.bu.edu/vpetsiuk/rise/

研究の動機と目的

• visionタスクにおける深層ニューラルネットワークの黒箱的意思決定者としての説明の必要性を動機づける。
• モデル内部へのアクセスを必要としない一般的なブラックボックス顕性法を提案する。
• 自動因果指標と人間中心の指標を用いて顕性品質を定量的に評価する。
• 複数のデータセットと基本アーキテクチャへの適用性を実証する。
• RISEが画像キャプションモデルの説明にも拡張可能であることを示す。

提案手法

• ランダムなバイナリマスクを生成し、それを要素ごとのマスキングで入力画像にアップサンプリングして撹乱する。
• 顕性マップを、マスクの重み付き和として計算する。重みは masked inputs 上での base model の出力スコア。
• N個のランダムマスクのモンテカルロサンプリングを用いて顕性マップを推定する。f(I ⊙ M_i) · M_i の平均として、E[M]でスケールする。
• 滑らかな、頑健なマスクを作成するために、バイリニアアップサンプリングとランダムな空間シフトを用いる。
• 削除と挿入の指標で説明を評価し、マスクされたマスクマップに従ってピクセルを削除または追加することでクラス確率がどう低下または上昇するかを測定する。
• データセット（PASCAL VOC07、MSCOCO2014、ImageNet）を跨いだ白箱および他のブラックボックス法と比較する。

実験結果

リサーチクエスチョン

• RQ1 勾配や内部情報へアクセスなしに、完全なブラックボックスアプローチが画像分類器に対して信頼できる画素レベルの説明を生み出せるか。
• RQ2 学習済みマスク重みと組み合わせたランダム入力マスクは、白箱法と比較して競争力のある顕性マップを提供するか。
• RQ3 削除/挿入指標は、アーキテクチャとデータセットをまたぐ説明の因果品質をどのように反映するか。
• RQ4 RISEは分類タスクを超えたキャプショニングモデルにも適用できるか。

主な発見

• RISEはResNet50およびVGG16でImageNetの削除・挿入スコアが他のベースラインより良好である（削除が低く、挿入が高いほど良い）。
• ResNet50の削除スコアは0.1076±0.0005、挿入は0.7267±0.0006；VGG16の削除は0.0980±0.0025、挿入は0.6663±0.0014。
• RISEは報告された指標でImageNetにおいてGrad-CAMより優れており、ベースモデルの内部情報を必要としないブラックボックス法であり続ける。
• VOC MSCOCOでは、RISEは他のブラックボックス法と比較して指差ゲームの精度が優れ、白箱アプローチと競合可能である。
• RISEはマスクされた入力を用いて語彤レベルの顕性を評価することで、画像キャプショニングモデルの説明へ拡張可能である。
• 本手法は複数回の実行（3回の平均±標準偏差として報告）に対して頑健である。