[論文レビュー] Visualizing Deep Networks by Optimizing with Integrated Gradients

Zhongang Qi, Saeed Khorram+1 more|arXiv (Cornell University)|May 2, 2019

Neural Networks and Applications被引用数 32

ひとこと要約

I-GOS はマスク最適化フレームワークにおいて統合勾配を下降方向として用いることによりヒートマップを最適化し、ネットワークの意思決定とより整合するヒートマップを生み出し、削除/挿入評価で従来の手法を上回る。

ABSTRACT

Understanding and interpreting the decisions made by deep learning models is valuable in many domains. In computer vision, computing heatmaps from a deep network is a popular approach for visualizing and understanding deep networks. However, heatmaps that do not correlate with the network may mislead human, hence the performance of heatmaps in providing a faithful explanation to the underlying deep network is crucial. In this paper, we propose I-GOS, which optimizes for a heatmap so that the classification scores on the masked image would maximally decrease. The main novelty of the approach is to compute descent directions based on the integrated gradients instead of the normal gradient, which avoids local optima and speeds up convergence. Compared with previous approaches, our method can flexibly compute heatmaps at any resolution for different user needs. Extensive experiments on several benchmark datasets show that the heatmaps produced by our approach are more correlated with the decision of the underlying deep network, in comparison with other state-of-the-art approaches.

研究の動機と目的

• 視覚タスクにおけるCNNの意思決定に信頼性が高くモデルと整合するヒートマップを促進する。
• 局所最適値を克服し、収束の遅さを克服するヒートマップ最適化手法を開発する。
• 敵対的マスクを避けるための正則化を施しつつ、統合勾配を用いてマスク最適化を導く。
• ベンチマークデータセットと解像度全体でネットワークの決定との相関が改善されることを示す。

提案手法

• ベースライン画像を用いたマスク最適化問題としてヒートマップ生成を定式化する。
• 降下をグローバル最適解へ導くために従来の勾配を統合勾配に置換する。
• L1項および全変分項による正則化を組み込み、区分的に滑らかなマスクを生成する。
• 統合勾配ガイド付き更新のステップサイズを適応的に設定するため、バックトラッキングArmijoライン探索を使用する。
• IG計算中に確率的摂動を導入して敵対的マスクを緩和し、頑健性を向上させる。
• 摂動前に低解像度マスクをアップサンプルして、さまざまな解像度のヒートマップを許容する。
• I-GOS手順の Algorithm 1 スタイルの概略を提供し、収束に関する考慮点を議論する。

実験結果

リサーチクエスチョン

• RQ1 統合勾配はヒートマップ最適化において標準勾配よりも信頼できる下降方向を提供するだろうか？
• RQ2 削除・挿入評価において、I-GOS ヒートマップは従来の手法と比べてモデルの意思決定をより良く反映するか？
• RQ3 ヒートマップの解像度は忠実度、頑健性、計算時間にどのように影響するか？
• RQ4 解釈性を保ちつつ敵対的ヒートマップを最も効果的に防ぐ正則化および摂動戦略はどれか？

主な発見

• I-GOS は複数の解像度とモデルにおいて、最先端のヒートマップ手法と比較して削除および挿入の指標で優れている。
• マスク最適化で勾配を統合勾配に置換することは、収束を早め、ネットワークの決定との整合性を高める。
• 正則化（L1および全変分）と摂動戦略は、特に高解像度で敵対的または非情報的なヒートマップを減らす。
• 本手法はヒートマップ解像度の柔軟性を提供し、同等の摂動ベース手法よりも実行時間が速いことを示す。
• 適応的なステップサイズを用いたライン探索ベースの更新により効率的な最適化が可能で、通常は約十数回の反復で収束する。