[論文レビュー] Adversarial Examples that Fool both Computer Vision and Time-Limited Humans

Gamaleldin F. Elsayed, Shreya Shankar+5 more|arXiv (Cornell University)|Feb 22, 2018

Adversarial Robustness in Machine Learning被引用数 155

ひとこと要約

CNN間で転移する敵対的摂動は、時間制限付きの人間判断に偏りを生み、誤差率を増加させることができる。機械と人間の視覚の共通した故障モードが明らかになる。

ABSTRACT

Machine learning models are vulnerable to adversarial examples: small changes to images can cause computer vision models to make mistakes such as identifying a school bus as an ostrich. However, it is still an open question whether humans are prone to similar mistakes. Here, we address this question by leveraging recent techniques that transfer adversarial examples from computer vision models with known parameters and architecture to other models with unknown parameters and architecture, and by matching the initial processing of the human visual system. We find that adversarial examples that strongly transfer across computer vision models influence the classifications made by time-limited human observers.

研究の動機と目的

• コンピュータビジョンモデルを欺く敵対的例が、時間制約下でも人間の知覚に影響を及ぼすかを調査する。
• 初期の人間の視覚処理をCNNの入力と整合させることで、機械学習と神経科学の橋渡しを行う。
• アンサンブルCNNから時間制限のある人間観察者への敵対的摂動の転移性を測定する。

提案手法

• 人間の初期視覚を模倣する網膜前処理層を備えた10個のCNNモデル（InceptionおよびResNet系の variant）からなるアンサンブルを構築する。
• L∞ノルムが制限された標的型敵対的摂動を生成し、モデルアンサンブル全体で誤分類を引き起こす。
• モデルのアーキテクチャやパラメータへアクセスを必要としないブラックボックス攻撃手法を用いる。
• マスクを用いて画像を短時間提示し、トップダウンの影響を制限して、前方視の処理を模倣する。
• 複数の画像群（ペット、野菜、危険物）にわたり、二択強制判断課題で人間の決定を評価する。
• 敵対的効果を、コントロール条件（画像と反転）および偽条件と比較し、知覚への影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 CNN間で転移する敵対的例は、時間制限付きの人間の知覚にもバイアスをかけるか？
• RQ2 網膜様前処理は、敵対的摂動の人間への転移にどのような影響を与えるか？
• RQ3 短時間提示下で、敵対的摂動が人間の正確さと意思決定時間に与える影響は何か？
• RQ4 真のクラスが利用可能な場合でも、敵対的摂動は誤った選択を強制できるか？

主な発見

• 時間制限のある人間に転移した敵対的摂動は、標的とした誤分類へ選択を偏らせる。
• 敵対的画像は、クリーン画像に比べ人間の正確さを低下させ、摂動は垂直反転コントロールよりも強かった。
• 敵対的条件では応答時間が長くなり、より速い決定は標的クラスへより強いバイアスを示した。
• 人間への転移の成功は画像群によって異なり、危険画像がペットより強く、ペットが野菜より強い偏向を示した。
• 正しいクラスが利用可能であっても、敵対的摂動はベースライン画像条件を超える誤り率を増加させた。