[論文レビュー] Understanding the One-Pixel Attack: Propagation Maps and Locality Analysis

Danilo Vargas, Jiawei Su|arXiv (Cornell University)|Feb 8, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 25

ひとこと要約

この論文は、1ピクセルの摂動が深層ニューラルネットワークを通過する際の伝播を可視化・定量化する新技術である伝播マップ（Propagation Maps）を導入している。この分析により、極めて小さな局所的変更でもグローバルに広がり、最終的な予測に顕著な影響を与えることが明らかになった。真の脆弱性は個々のニューロンやピクセルにではなく、共有された受容野にあり、これが同じアーキテクチャを持つネットワークに対して1ピクセル攻撃が非常に高い成功率を示す理由を説明している。

ABSTRACT

Deep neural networks were shown to be vulnerable to single pixel modifications. However, the reason behind such phenomena has never been elucidated. Here, we propose Propagation Maps which show the influence of the perturbation in each layer of the network. Propagation Maps reveal that even in extremely deep networks such as Resnet, modification in one pixel easily propagates until the last layer. In fact, this initial local perturbation is also shown to spread becoming a global one and reaching absolute difference values that are close to the maximum value of the original feature maps in a given layer. Moreover, we do a locality analysis in which we demonstrate that nearby pixels of the perturbed one in the one-pixel attack tend to share the same vulnerability, revealing that the main vulnerability lies in neither neurons nor pixels but receptive fields. Hopefully, the analysis conducted in this work together with a new technique called propagation maps shall shed light into the inner workings of other adversarial samples and be the basis of new defense systems to come.

研究の動機と目的

• 1ピクセル攻撃——非常に効果的ではあるが、その背後にあるメカニズムが十分に理解されていない、悪意ある攻撃の根本的メカニズムを理解すること。
• 1ピクセルの摂動が極めて小さなサイズであるにもかかわらず、なぜ深層ニューラルネットワークで誤分類を引き起こすことができるのかを調査すること。
• 脆弱性がニューロン、ピクセル、あるいは受容野のような構造的コンponentsに由来するのかを特定すること。
• 摂動の影響がネットワークの各層を通過する様子を追跡する新しい可視化技術を開発すること。
• 摂動の伝播とサリエンシー・マップの関係を調査し、悪意ある攻撃に対する耐性に関する新しい仮説を提示すること。

提案手法

• 伝播マップ（PMmax）は、各層で綺麗な入力と摂動を加えた入力の特徴マップの絶対差を測定することで計算される。
• この手法は、順方向伝播を用いて1ピクセルの摂動が全層に及ぼす影響を追跡し、影響の大きさと空間的広がりを明らかにする。
• 局所性分析として、成功した1ピクセル攻撃の位置に近接するピクセルに対しても同じ摂動の大きさを適用し、成功確率の類似性を評価する。
• 複数の成功・失敗した攻撃に対して伝播マップの統計的分析を実施し、影響のパターンを比較する。
• 観察された伝播マップとサリエンシー・マップの類似性に基づき、「対立するサリエンシー仮説」を提唱する。この仮説は、悪意ある例が注意メカニズムを攪乱することを示唆している。
• 伝播行動と脆弱性パターンの妥当性を検証するため、ResNetおよび他の深層ネットワークを用いた実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 1ピクセルの摂動は深層ニューラルネットワークの各層をどのように伝播するのか？その影響は拡大するか、それとも減少するか？
• RQ2 なぜ1ピクセル攻撃は、ResNetのような非常に深いネットワークですら、非常に頻繁に成功するのか？
• RQ3 1ピクセル攻撃の脆弱性は、特定のニューロンやピクセル、あるいは受容野のような構造的コンponentsに起因するのか？
• RQ4 成功した攻撃と失敗した攻撃は、影響の大きさと分布の観点から、類似した伝播パターンを示すのか？
• RQ5 対立するサリエンシー仮説が示唆するように、悪意ある摂動の挙動は、注意の攪乱という視点から理解できるのか？

主な発見

• 伝播マップにより、1ピクセルの摂動が影響を拡大し、特徴マップ全体に広がり、ある層の最大元の活性化値と同等の絶対差に達することが明らかになった。
• ResNetのような深いネットワークですら、1ピクセル摂動の影響が全層に効果的に伝播しており、信号の増幅と拡散が強いことが示された。
• 成功した1ピクセル攻撃の位置に近接するピクセルは、同様に高い成功確率を示しており、脆弱性が特定のピクセルやニューロンに局所化されているわけではないことが示された。
• 分析により、複数のピクセルが共有する受容野——特に、近接するピクセルが異なるモデルでも類似した攻撃成功確率を示す——が、主な脆弱性の源であることが確認された。
• 成功した攻撃と失敗した攻撃の両方において、影響の大きさと空間的分布の観点から、顕著に類似した伝播パターンが観察された。これは、成功が影響のスケールに依存するのではなく、他の要因に起因している可能性を示唆している。
• 伝播マップとサリエンシー・マップの観察された類似性により、「対立するサリエンシー仮説」は支持された。これは、悪意ある例が、対立するサリエンシー信号を生成することで注意メカニズムを攪乱している可能性を示唆している。