[論文レビュー] Interpreting Adversarial Examples with Attributes

Sadaf Gulshad, Jan Hendrik Metzen+2 more|arXiv (Cornell University)|Apr 17, 2019

Adversarial Robustness in Machine Learning参考文献 51被引用数 6

ひとこと要約

この論文では、クリーン画像およびアドバーシャル画像の両方に対して、色、形状、質感などのクラス固有の視覚的属性を予測し、その属性を画像上に局所化することで、アドバーシャル例の解釈を提案する。クラス関連性と画像関連性の両面で属性をランク付けすることで、誤分類を説明する：アドバーシャル例は、誤ったクラスと一致する不適切な属性が予測され、画像上に局所化されることで誤分類される一方、クリーン画像は正しい属性によって正当化される。

ABSTRACT

Deep computer vision systems being vulnerable to imperceptible and carefully crafted noise have raised questions regarding the robustness of their decisions. We take a step back and approach this problem from an orthogonal direction. We propose to enable black-box neural networks to justify their reasoning both for clean and for adversarial examples by leveraging attributes, i.e. visually discriminative properties of objects. We rank attributes based on their class relevance, i.e. how the classification decision changes when the input is visually slightly perturbed, as well as image relevance, i.e. how well the attributes can be localized on both clean and perturbed images. We present comprehensive experiments for attribute prediction, adversarial example generation, adversarially robust learning, and their qualitative and quantitative analysis using predicted attributes on three benchmark datasets.

研究の動機と目的

• 深層ニューラルネットワークがなぜアドバーシャル例を誤分類するかを、意思決定を駆動する背後にある視覚的性質を分析することにより理解すること。
• 視覚的に特徴的な属性を用いて、クリーン画像およびアドバーシャル画像の予測に対する解釈可能な正当化を提供すること。
• 予測された属性を画像領域に局所化することで、アドバーシャル耐性とモデルの解釈可能性のギャップを埋めること。
• 標準的およびアドバーシャル耐性を持つモデルを、属性の粒度が異なるベンチマークデータセットを用いて評価すること。

提案手法

• 予測クラスに関連する属性を最も重視するように、画像特徴をクラス属性空間にマップするランクベースの属性予測ヘッドを訓練する。
• Faster R-CNNに基づくオブジェクトパーツ検出器を用い、境界ボックスを介して属性の視覚的証拠を画像内に局所化することで、予測された属性を接地する。
• 未ターゲットおよびターゲット攻撃（例：FGSM、PGD）によって生成されたアドバーシャル例に対し、フレームワークを適用する。
• 属性の粒度が異なる3つのベンチマークデータセット（CUB、AWA、LAD）を用いて、モデルの性能を評価する。
• 標準モデルとアドバーシャル訓練を施したモデルの間で、予測と接地された属性を比較し、耐性を評価する。
• クラス関連性（属性を摂動させた際の予測の変化量）と画像関連性（局所化の正確さ）を用いて、属性の関連性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 クリーン画像とアドバーシャル画像における予測された属性はどのように異なり、それぞれ正しいクラスまたは誤ったクラスと一致するか？
• RQ2 属性の接地は、アドバーシャル例における誤分類の原因となる視覚的証拠を明らかにできるか？
• RQ3 アドバーシャル耐性を持つモデルは、クリーン画像と同様の属性に基づく正当化をどの程度回復できるか？
• RQ4 属性の粒度が異なるデータセット（細分化されたものと粗粒度のもの）において、属性の予測と接地はどのように変化するか？

主な発見

• アドバーシャル例は、誤ったクラスと一致する不適切な属性（例：ハナグマガラスに対して『白いお腹』や『白い頭』）が予測され、画像上に局所化されることで誤分類される。
• 未ターゲット攻撃では、アドバーシャル画像の接地された属性が誤ったクラスと強く重複するが、クリーン画像はその正しいクラス固有の属性によって正当化される。
• ターゲット攻撃では、アドバーシャル画像上の接地された属性は主にターゲットクラスのものであり、正しいクラスの属性に関する視覚的証拠は存在しない。
• アドバーシャル訓練を施したモデルは、アドバーシャル入力に対しても、真のクラスに近い属性の予測と接地を生成し、正しい推論とより整合性が取れていることが示された。
• Awa や LAD のような粗粒度のデータセットでは、正しいクラスとアドバーシャルクラスの間で属性の重複が少なく、接地された属性の視覚的区別が明確になる。
• 『青い頭』や『黒い翼』といった属性は、アドバーシャル訓練済みの画像では正しく予測され、画像上に適切に接地されているが、標準モデルでは欠落しているか、誤って局所化されている。これは、属性レベルの一貫性が向上することで耐性が向上していることを確認している。