[論文レビュー] SmoothGrad: removing noise by adding noise

Daniel Smilkov, Nikhil Thorat+3 more|arXiv (Cornell University)|Jun 12, 2017

Explainable Artificial Intelligence (XAI)参考文献 3被引用数 754

ひとこと要約

SmoothGrad は入力のノイズ付きコピーの勾配を平均化し、画像分類器の感度マップをより鋭く一貫性のあるものにする。ノイズを用いた訓練は推論時のノイズと組み合わせるとデノイズ効果を高める。

ABSTRACT

Explaining the output of a deep network remains a challenge. In the case of an image classifier, one type of explanation is to identify pixels that strongly influence the final decision. A starting point for this strategy is the gradient of the class score function with respect to the input image. This gradient can be interpreted as a sensitivity map, and there are several techniques that elaborate on this basic idea. This paper makes two contributions: it introduces SmoothGrad, a simple method that can help visually sharpen gradient-based sensitivity maps, and it discusses lessons in the visualization of these maps. We publish the code for our experiments and a website with our results.

研究の動機と目的

• 深層ニューラルネットワークを解釈し、分類決定に影響を及ぼすピクセルを特定する動機。
• 勾配ベースの感度マップの視覚的ノイズに対処し、解釈性を向上させる。
• 勾配を平滑化する利点と訓練時ノイズとの組み合わせを探る。
• SmoothGrad がより視覚的に一貫性があり識別性の高いマップを生み出すことを示す証拠を提供する。

提案手法

• 感度マップをクラススコアの入力ピクセルに対する勾配として定義する。
• ガウスノイズで撹乱した入力に対して勾配を平均化することで SmoothGrad を導入する: M̂c(x) = (1/n) sumk Mc(x + N(0, σ^2)).
• ノイズレベル σ とサンプル数 n がマップの鋭さと一貫性に与える効果を分析する。
• SmoothGrad を素の勾配や他の勾配ベースの方法（Integrated Gradients、Guided BackProp）と比較する。
• 訓練時と推論時にノイズを適用する効果を検討する。
• マップの解釈性を高める視覚化と組み合わせ戦略を提供する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ付き入力における勾配の平均がサリエンシーマップの視覚的ノイズを低減するか？
• RQ2 ノイズレベル σ とサンプル数 n は感度マップの品質にどう影響するか？
• RQ3 SmoothGrad は素の勾配や他の勾配ベースの方法と比較して視覚的一貫性と識別性で優れているか？
• RQ4 SmoothGrad は他の寄与法と効果的に組み合わせられるか？
• RQ5 訓練時にノイズを用いることは感度マップをさらに鋭くするか、推論時ノイズとの併用で相加的な効果があるか？

主な発見

• SmoothGrad は素の勾配やいくつかのベースラインよりも視覚的に一貫性のある感度マップを生み出す。
• ImageNet 画像では 10–20% のノイズレベルが鋭さと構造のバランスをとる；結果は入力に依存する。
• サンプル数 n を増やすと勾配が滑らかになるが、約 n = 50 を超えると限界がある。
• SmoothGrad を Integrated Gradients や Guided BackProp と組み合わせると視覚的一貫性が向上する。
• 訓練時にノイズを追加すると感度マップが鋭くなり、推論時ノイズと併用すると相加的な効果がある。）