[論文レビュー] Maximally Invariant Data Perturbation as Explanation

Satoshi Hara, Kouichi Ikeno+2 more|arXiv (Cornell University)|Jun 19, 2018

Adversarial Robustness in Machine Learning参考文献 9被引用数 7

ひとこと要約

本稿では、最大不変データ摂動に基づく新しい特徴スコアリング手法を提案する。特徴は、小さな摂動がモデルの予測を崩す場合に重要であるとみなされる。1次テイラー近似を用いて線形計画法として問題を定式化することで、従来の手法よりもより頑健に顕著な画像領域を特定でき、VGG16をベースとする画像分類実験において、ピクセルマスク処理下でも分類精度をより良く維持するという優れた性能を示した。

ABSTRACT

While several feature scoring methods are proposed to explain the output of complex machine learning models, most of them lack formal mathematical definitions. In this study, we propose a novel definition of the feature score using the maximally invariant data perturbation, which is inspired from the idea of adversarial example. In adversarial example, one seeks the smallest data perturbation that changes the model's output. In our proposed approach, we consider the opposite: we seek the maximally invariant data perturbation that does not change the model's output. In this way, we can identify important input features as the ones with small allowable data perturbations. To find the maximally invariant data perturbation, we formulate the problem as linear programming. The experiment on the image classification with VGG16 shows that the proposed method could identify relevant parts of the images effectively.

研究の動機と目的

• 複雑な機械学習モデルにおける特徴スコアリング手法に、形式的な数学的定義が欠如している問題に対処すること。
• 敵対的例のパラダイムを逆転することで特徴スコアリングを形式化する：予測を変える最小摂動を探す代わりに、予測を保持する最大摂動を探す。
• 線形計画法近似を用いて、不変摂動を効率的に同定する計算手法を開発すること。
• 医療や法的分野などハイリスク分野における解釈可能性を向上させ、より信頼性が高く数学的に根拠のある説明を提供すること。
• 特に画像分類において、深層学習モデルの関連画像領域を効果的に同定できることを示すこと。

提案手法

• モデルの出力クラスを保持する最大の摂動集合に基づく、新しい特徴スコアリング定義を提案する。
• 不変摂動集合を、パラメータ u と v で定義されるボックス型領域に制限し、特徴 i の許容可能な総摂動量を u_i + v_i とする。
• モデル出力を1次テイラー展開で近似し、半無限大計画問題を扱いやすい線形計画問題に変換する。
• 安定性の向上とノイズ低減のため、ソフト制約およびパラメータ共有拡張を適用する。
• 複数の小さなランダム摂動下で摂動問題を解くことで、滑らかにした変種を導入し、頑健性を向上させる。
• 各パッチの最終スコアを 2δ - u_m - v_m として計算し、値が大きいほど特徴の重要性が高くなるようにする。

実験結果

リサーチクエスチョン

• RQ1 不変データ摂動の概念から、形式的で数学的に根拠のある特徴重要性の定義を導き出せるか？
• RQ2 特徴スコアリングのために、モデル出力を保持する最大摂動を効率的に計算する方法は何か？
• RQ3 提案手法は、従来の説明手法と比較して、画像分類においてより正確で安定した顕著領域を同定できるか？
• RQ4 ピクセルマスク処理下で、予測がどの程度保持されるか、関連特徴の効果的な同定を示すか？
• RQ5 パラメータ共有およびスムージングは、得られるサリエンシーマップの品質と頑健性をどのように向上させるか？

主な発見

• 提案手法は、ピクセルマスク処理下でもベースライン手法よりも顕著に分類精度を維持し、スコアが最も低い50%のピクセルをマスクしても、予測の変更が10%未満にとどまった。
• パラメータ共有のおかげでサリエンシーマップの信号対ノイズ比が向上し、より明確で一貫性のある属性マップが得られた。
• 動物の頭部のみを強調する手法とは異なり、提案手法はクマの全身を関連する領域として特定しており、特徴重要性の包括的把握を示唆している。
• スムージング変種は、複数のランダム摂動下で優れた頑健性を示し、計算スコアの安定性を確認した。
• 線形計画法の定式化により、計算が効率的になり、画像のような高次元入力に対してもスケーラブルであることがわかった。
• Gradient、GuidedBP、SmoothGrad、IntGrad、LRP、DeepLIFT、Occlusionといった標準的なベースライン手法と比較して、マスク処理下でのモデル予測の維持性能が優れていた。