[論文レビュー] On the Connection Between Adversarial Robustness and Saliency Map Interpretability

Christian Etmann, Sebastian Lunz+2 more|arXiv (Cornell University)|May 10, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用数 74

ひとこと要約

本論文は敵対的ロバスト性がサリエンシーマップの解釈性とどのように関連するかを分析し、入力とサリエンシーとの整合性を形式化し、より線形なモデルほどこの結びつきが強いことを示している。

ABSTRACT

Recent studies on the adversarial vulnerability of neural networks have shown that models trained to be more robust to adversarial attacks exhibit more interpretable saliency maps than their non-robust counterparts. We aim to quantify this behavior by considering the alignment between input image and saliency map. We hypothesize that as the distance to the decision boundary grows,so does the alignment. This connection is strictly true in the case of linear models. We confirm these theoretical findings with experiments based on models trained with a local Lipschitz regularization and identify where the non-linear nature of neural networks weakens the relation.

研究の動機と目的

• 敵対的ロバスト性とサリエンシーマップ解釈性の間に観察される関連を動機づけ、定量化する。
• 入力画像とサリエンシーマップの整合性を定義し、それとロバスト性との関係を研究する。
• 線形モデルにおけるロバストネスと整合性を形式的につなぎ、非線形ネットワークへの知見の拡張を行う。
• 局所的にアファイン（ReLUベース）ネットワークがロバストネス正則化の下でどのように振る舞い、解釈性にどのような影響を与えるかを調査する。
• 敵対的にロバストなモデルを用いてMNISTとImageNetで理論を実証的に検証する。

提案手法

• 分類器の決定を変える最も近い摂動までの距離として敵対的ロバストネスを定義する。
• 整合性 α(x) = |<x, ∇Ψ(x)>| / ||∇Ψ(x)|| を導入し、ロバスト性との関係を分析する。
• 局所的にアファインなスコア関数に対する線形化されたロバストネスを導出し、二値化されたサリエンシーマップとの結びつきを確立する。
• ニューラルネットワークの同次分解を提案し、線形成分と非線形成分を分離する。
• ロバストネスと整合性を結ぶ点ごとの境界を提供し、多クラスネットワークに対する定理2および定理3を含む。
• 勾配ノルムを抑制する二重伝播を用いてネットワークを訓練し、MNISTとImageNetで正則化によってロバストネーションを変化させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的ロバストネスを高めると、入力画像とサリエンシーマップの整合性が高まるか？
• RQ2 線形・同次モデルと非線形ニューラルネットワークにおけるロバストネス-整合性の関係はどのように異なるか？
• RQ3 線形化されたロバストネスの境界は、ロバストモデルにおけるサリエンシーマップの観察される解釈性をどのように説明するか？
• RQ4 ロジットの局所的に定数的項と線形項は、ロバスト性-整合性の結びつきにおいてどのような役割を果たすか？
• RQ5 MNISTとImageNetの結果は、ロバスト性・整合性・解釈性のパターンの観点でどのように比較されるか？

主な発見

• ロバストなモデルは、入力とサリエンシーの整合性がより強く、解釈性の高いサリエンシーマップを生み出す傾向がある。
• 線形または正に一同次のスコア関数の場合、ロバストネスと二値化された整合性は一致する。
• 非線形ネットワークでは、平均的にはロバストネスとともに整合性が高まるが、関係は弱くデータ依存である。
• 実験ではImageNetとMNISTで中位の整合性が中位のロバストネスとともに増加し、飽和挙動は異なる。
• 線形化されたロバストネスは実際のロバストネスの現実的な推定量を提供し、点ごとの測定と良く相関する。
• 上界（定理2および定理3）は、線形成分が整合性-ロバストネスの結びつきを支配する様子を、モデルがより線形になるにつれて特に説明している。