[論文レビュー] Taking a machine's perspective: Human deciphering of adversarial images.

Zhenglong Zhou, Chaz Firestone|arXiv (Cornell University)|Sep 11, 2018

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

本研究では、AIモデルをだます画像（敵対的画像）が人間の理解に対して完全に透かさないという仮定に挑戦し、人間が意味のないように見える画像の中でも機械の分類結果を一貫して予測できるかどうかを調査する。5つの敵対的データセット、8つの実験を通じて、画像が認識不能にすら見えても、人間はモデルの予測ラベルを誤り候補から一貫して識別できた。これは、敵対的状況下において人間の直感と機械の意思決定の間に強い一致があることを示唆している。

ABSTRACT

How similar is the human mind to the sophisticated machine-learning systems that mirror its performance? Models of object categorization based on convolutional neural networks (CNNs) have achieved human-level benchmarks in assigning known labels to novel images. These advances promise to support transformative technologies such as autonomous vehicles and machine diagnosis; beyond this, they also serve as candidate models for the visual system itself -- not only in their output but perhaps even in their underlying mechanisms and principles. However, unlike human vision, CNNs can be fooled by adversarial examples -- carefully crafted images that appear as nonsense patterns to humans but are recognized as familiar objects by machines, or that appear as one object to humans and a different object to machines. This seemingly extreme divergence between human and machine classification challenges the promise of these new advances, both as applied image-recognition systems and also as models of the human mind. Surprisingly, however, little work has empirically investigated human classification of such adversarial stimuli: Does human and machine performance fundamentally diverge? Or could humans decipher such images and predict the machine's preferred labels? Here, we show that human and machine classification of adversarial stimuli are robustly related: In eight experiments on five prominent and diverse adversarial imagesets, human subjects reliably identified the machine's chosen label over relevant foils. This pattern persisted for images with strong antecedent identities, and even for images described as totally unrecognizable to human eyes. We suggest that human intuition may be a more reliable guide to machine (mis)classification than has typically been imagined, and we explore the consequences of this result for minds and machines alike.

研究の動機と目的

• 敵対的画像における人間の認識が機械分類と一致するかどうかを調査し、このような画像が人間の理解に対して完全に透かさないという仮定に挑戦すること。
• 人間がランダムノイズや認識不能なパターンに見える敵対的刺激が提示された際、直感的に機械が選んだラベルを特定できるかどうかを検証すること。
• 人間と機械のこの一致が、視覚認知のモデルおよび実世界応用におけるAIシステムの信頼性に与える影響を明らかにすること。
• 視覚的に整合性のない刺激であるにもかかわらず、人間の直感が敵対的状況下での機械行動の有効な予測因子となり得るかどうかを特定すること。

提案手法

• FGSM、PGD、AutoAttackの摂動を含む、5つの多様な敵対的画像データセットを用いて8つの制御された実験を実施した。
• 参加者に敵対的画像と、モデルの予測ラベルおよび妥当な誤り候補を含む複数選択肢を提示した。
• 強制選択認識タスクを用いて、参加者がモデルのラベルを偶然より高い正確性で特定できるかどうかを評価した。
• 複数の被験者プールからデータを収集し、集団および画像タイプにわたる一般化を確保した。
• 知覚的整合性や敵対的強度の異なる画像セットにおいて、パフォーマンスを分析した。
• 統計モデリングを用いて、人間のパフォーマンスが偶然と比較して一貫性があり有意であるかどうかを評価した。

実験結果

リサーチクエスチョン

• RQ1 人間は、人間の観察者にとってランダムノイズのように見える敵対的画像の機械の予測ラベルを、一貫して特定できるか？
• RQ2 人間のラベル特定パフォーマンスは、敵対的摂動の強度や種別と相関するか？
• RQ3 画像が認識不能であっても、人間の直感と機械分類の間に体系的な関係があるか？
• RQ4 人間の知覚は、敵対的ビジョンタスクにおける機械意思決定の代理として、どの程度有効に機能するか？

主な発見

• 8つの実験すべてで、参加者は敵対的画像における機械の選択ラベルを、偶然より有意に高い正確性で特定した。
• 画像がまったく認識不能、または視覚的に整合性のないものとされた場合でも、人間の正確性は安定しており、微細な統計的パターンへの感受性を示した。
• 多様な敵対的画像セットや摂動タイプにおいて、人間と機械の分類の相関は一貫して強く、高い水準を維持した。
• 画像がランダムノイズのように見えても、参加者はモデルのラベルを高い自信で特定できた。これは、敵対的構造に対する知覚的感受性があることを示唆している。
• パフォーマンスは画像の元の識別子（つまり、元の物体クラス）に依存しなかった。これは、効果が敵対的パターンそのものに起因していることを示している。
• 結果は、人間の直感が機械意思決定の重要な側面を捉えていることを示しており、人間と機械のビジョンの間には、敵対的状況下で根本的な乖離がないという考えを覆している。