[論文レビュー] Noise-adding Methods of Saliency Map as Series of Higher Order Partial Derivative

Junghoon Seo, Jeongyeol Choe+4 more|arXiv (Cornell University)|Jun 8, 2018

Bayesian Modeling and Causal Inference参考文献 2被引用数 15

ひとこと要約

本稿は、多次元テイラー展開および統計モーメント理論を用いて、ノイズ追加型のサリエンシー手法であるSmoothGradとVarGradの厳密な理論的分析を提供する。これにより、SmoothGradがスコア関数の勾配を平滑化しないこと、VarGradが勾配に依存しないことが明らかになり、従来の直感的説明に疑問を呈する。本研究は、高階の偏微分とモデルの解釈可能性の間の新たな関係を確立する。

ABSTRACT

SmoothGrad and VarGrad are techniques that enhance the empirical quality of standard saliency maps by adding noise to input. However, there were few works that provide a rigorous theoretical interpretation of those methods. We analytically formalize the result of these noise-adding methods. As a result, we observe two interesting results from the existing noise-adding methods. First, SmoothGrad does not make the gradient of the score function smooth. Second, VarGrad is independent of the gradient of the score function. We believe that our findings provide a clue to reveal the relationship between local explanation methods of deep neural networks and higher-order partial derivatives of the score function.

研究の動機と目的

• ノイズ追加型サリエンシー手法（SmoothGrad や VarGrad など）に内在する曖昧さを解消すること。これらは強力な実験的性能を示すが、形式的な理論的解釈が欠けている。
• 多次元テイラー級数および統計モーメント展開を用いて、SmoothGrad と VarGrad の数学的挙動を形式的に特徴づけること。
• これらの手法が本当に勾配を平滑化しているのか、それとも高階の導関数情報に依存しているのかを調査すること。
• スコア関数の高階偏微分と意味のあるモデル解釈との間の関係を示す仮説を提示すること。

提案手法

• 著者らは、入力周辺でのスコア関数を多次元テイラーの定理で展開し、サリエンシー地図の期待値および分散を高階の偏微分の級数として表現する。
• 等方的ガウスノイズ下での勾配の期待値および分散を計算することで、SmoothGrad および VarGrad の非確率的解析的近似を導出する。
• 高階の偏微分を体系的に取り扱うために多重インデックス表記を用い、標準正規分布のモーメントの性質を活用する。
• テイラー展開の剰余項を評価することで近似誤差を定量的に評価し、$ D^\alpha S_c $ および $ \sigma^{2\alpha} $ を含む明示的表現を得る。
• 標準正規変数の積のモーメントに関する統計的恒等式を用いて、$ \mathbb{E}[Z^\alpha] $ および $ \mathrm{Var}(Z^\alpha) $ を含む式を簡略化する。
• 多重インデックスの成分がすべて偶数か混合のパリティを持つ場合に分けて解析し、最終的な近似式が異なる形を取ることを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 SmoothGrad は、一般的に仮定されているように、スコア関数の勾配を効果的に平滑化しているのだろうか？
• RQ2 VarGrad は本当にスコア関数の勾配に依存しているのだろうか？それとも高階の導関数項に依存しているのだろうか？
• RQ3 ノイズ追加型手法の挙動を、スコア関数の高階偏微分と正式に結びつけることができるか？
• RQ4 ノイズ下でのスコア関数のテイラー展開と期待サリエンシー地図の正確な数学的関係は何か？
• RQ5 テイラー展開における近似誤差は、SmoothGrad および VarGrad の信頼性にどのように影響するか？

主な発見

• SmoothGrad はスコア関数の勾配を平滑化しない。代わりに、二階微分およびそれ以上の偶数階微分の重み付き和を近似している。
• VarGrad は一次勾配に依存せず、高階の偏微分、特に偶数階の微分にのみ依存している。
• SmoothGrad の解析的形は、二階微分およびそれ以上の偶数階微分が支配的であり、$ \sigma^{2\alpha} $ および多項係数を含む係数が関与している。
• 近似の剰余項は $ O(\sigma^{l+1}) $ で有界であり、ノイズ分散が小さくなるほど近似が改善されることを示唆する。
• 本手法により、ノイズ追加型手法の視覚的品質が、勾配の平滑化ではなく、高階微分構造への感受性に起因することが明らかになった。
• 従来の直感とは対照的に、ノイズ追加型手法が勾配ノイズを低減することでサリエンシーを改善すると考えられていたが、本研究ではこれらが高階特徴を強調していることが示された。