[論文レビュー] Adversarial Examples that Fool both Computer Vision and Time-Limited\n Humans

Gamaleldin F. Elsayed, Shreya Shankar+5 more|arXiv (Cornell University)|Feb 22, 2018

Adversarial Robustness in Machine Learning参考文献 36被引用数 92

ひとこと要約

本研究は、CNNモデル間で転移する敵対的例が時間制約下の人間の観察者にもバイアスを及ぼすことを示し、機械視覚と人間の知覚の共通の失敗モードを明らかにする。

ABSTRACT

Machine learning models are vulnerable to adversarial examples: small changes\nto images can cause computer vision models to make mistakes such as identifying\na school bus as an ostrich. However, it is still an open question whether\nhumans are prone to similar mistakes. Here, we address this question by\nleveraging recent techniques that transfer adversarial examples from computer\nvision models with known parameters and architecture to other models with\nunknown parameters and architecture, and by matching the initial processing of\nthe human visual system. We find that adversarial examples that strongly\ntransfer across computer vision models influence the classifications made by\ntime-limited human observers.\n

研究の動機と目的

• CNNの転移可能な敵対的例が時間制約下で人間の知覚に影響を与えるかを調査する。
• 初期の人間の視覚処理をCNNの前処理と整合させることにより、機械学習と神経科学を橋渡しする。
• 短時間の画像提示が敵対的特徴を人間の分類に影響させるかを評価する。
• 敵対的例の人間への転移性が画像群ごとにどの程度変化するかを定量化する。

提案手法

• Inception V3/V4、Inception ResNet V2、ResNet V2 50/101/152 など、異なるアーキテクチャを持つ10個のCNNモデルのアンサンブルを構築する。
• 網膜様の前処理レイヤを先頭に追加し、中心-周辺に依存したブラーを用いて人間の初期視覚処理を模擬する。
• L∞予算の下で標的型敵対的摂動を生成し、クロスモデルの誤分類（AからB、BからA）を引き起こす。
• 処理を制限する高コントラストマスクを用いた二択Forced-Choice課題で、人間の被験者に短時間・時間制約付き刺激を提示する。
• 敵対的効果を特定するため、摂動の反転、画像のみ、誤りを強制する偽条件などの対照条件を含める。
• 見知らぬCNNへの転移（敵対的訓練を施したInception V3およびResNet V2 50）と、時間制約下の人間への転移の両方を評価する。

Figure 1: Adversarial examples optimized on more models / viewpoints sometimes appear more meaningful to humans. This observation is a clue that machine-to-human transfer may be possible. (a) A canonical example of an adversarial image reproduced from goodfellow2014explaining [ 13 ] . This adversari

実験結果

リサーチクエスチョン

• RQ1 CNNアンサンブル用に作成された敵対的例が、時間制約下の人間へ転移するか？
• RQ2 網膜様前処理とモデルアンサンブルは、人間の観察者への転移を促進するか？
• RQ3 短時間の認識課題における敵対的摂動は、人間の正確性と反応時間にどのように影響するか？
• RQ4 敵対的効果は特定の画像群（ペット、野菜、危険物）でより強いか？

主な発見

• 敵対的摂動は未知のCNNへ転移し、クラスと条件に応じて攻撃成功率は57%〜89%となる。
• 時間制限下の人間は、真のクラスが選択肢に含まれていなくても、敵対的ターゲットクラスに偏った選択を示す。
• 敵対的条件下の人間は、対照条件より反応時間が長い。
• クリーン画像と比較して、敵対的条件下で精度は低下し、摂動の方向（adv vs flip）が知覚影響に影響を与える。
• 危険物グループはペットや野菜より知覚バイアスが強く、反応時間パターンはグループ間で知覚バイアスと反対相関。
• 摂動が知覚可能であっても人間に対する敵対効果は持続し、知覚の領域をまたぐ脆弱性を示す。

Figure 2: Experiment setup and task. (a) examples images from the conditions ( image , adv , and flip ). Top: adv targeting broccoli class. bottom: adv targeting cat class. See definition of conditions at Section 3.2.2 . (b) example images from the false experiment condition. (c) Experiment setup an