[論文レビュー] Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images

Anh‐Tu Nguyen, Jason Yosinski+1 more|arXiv (Cornell University)|Dec 5, 2014

Advanced Neural Network Applications参考文献 5被引用数 78

ひとこと要約

この論文は、進化計算や勾配上昇を用いて生成された「だまし画像」により、人間がまったく認識できない画像（白色ノイズやランダムパターンなど）に対しても、深層ニューラルネットワーク（DNNs）がほぼ100％の信頼度を割り当てる可能性を示している。主な発見は、DNNsが自然なデータ分布から大きく離れた領域でも誤検出を生じる高次元の意思決定境界に依存していることであり、一般化性能に深刻な脆弱性を露呈しており、安全が求められるシステムへの実用化に懸念を呈している。

ABSTRACT

Deep neural networks (DNNs) have recently been achieving state-of-the-art performance on a variety of pattern-recognition tasks, most notably visual classification problems. Given that DNNs are now able to classify objects in images with near-human-level performance, questions naturally arise as to what differences remain between computer and human vision. A recent study revealed that changing an image (e.g. of a lion) in a way imperceptible to humans can cause a DNN to label the image as something else entirely (e.g. mislabeling a lion a library). Here we show a related result: it is easy to produce images that are completely unrecognizable to humans, but that state-of-the-art DNNs believe to be recognizable objects with 99.99% confidence (e.g. labeling with certainty that white noise static is a lion). Specifically, we take convolutional neural networks trained to perform well on either the ImageNet or MNIST datasets and then find images with evolutionary algorithms or gradient ascent that DNNs label with high confidence as belonging to each dataset class. It is possible to produce images totally unrecognizable to human eyes that DNNs believe with near certainty are familiar objects, which we call "fooling images" (more generally, fooling examples). Our results shed light on interesting differences between human vision and current DNNs, and raise questions about the generality of DNN computer vision.

研究の動機と目的

• 人間がまったく認識できない画像に対して、深層ニューラルネットワーク（DNN）が高信頼度の予測を出力できるかどうかを調査すること。
• 特に物体認識において、人間の視覚的認識と深層学習に基づくコンピュータビジョンの違いを明らかにすること。
• わずかに摂動を加えたものではなく、まったく不自然な画像である敵対的例に対して、DNNの耐性を評価すること。
• だまし画像を訓練データに含めることで、DNNの将来の敵対的攻撃に対する耐性が向上するかどうかを検証すること。
• これらの発見が、自動運転車や顔認識システムなど、実世界の安全が求められる応用分野におけるDNNの信頼性とセキュリティに与える影響を理解すること。

提案手法

• 進化計算（EAs）、特にMAP-Elitesを用いて、特定のクラスに対するDNNの信頼度スコアを最大化する画像を生成。その際、画像が視覚的に認識不能であってもよい。
• 勾配上昇法を用いて、DNN内の特定のクラスニューロンの活性化を最大化するように画像ピクセルを最適化し、自然でない画像に対しても高信頼度の予測を生じさせた。
• 2種類の画像符号化手法を用いた：直接ピクセル符号化とCPPN（構成的パターンマッピングニューロエボリューション）符号化。これにより、生成画像に多様で複雑なパターンを実現した。
• 2つの事前学習済みDNNを用いた：ImageNet用のAlexNetとMNIST用のLeNet。両者ともCaffeフレームワークを通じて公開済み。
• 生成された「だまし画像」を両モデルにテストし、アーキテクチャやデータセット間での一般化を評価した。
• 再訓練実験を実施。だまし画像をネガティブ例としてラベル付けし、DNNを再学習することで、将来の攻撃に対する耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク（DNN）は、人間がまったく認識できない画像に対しても高信頼度を割り当てられるか？
• RQ2 進化計算や勾配上昇で生成されただまし画像は、異なるDNNアーキテクチャーやデータセット間で一貫したパターンを示すか？
• RQ3 だまし画像を訓練データに含めることで、DNNを再訓練し、将来的なだまし攻撃に対して耐性を持たせることは可能か？
• RQ4 DNNのような判別モデルの意思決定境界は、どのように自然なデータ分布から大きく離れた領域でも高信頼度の予測を可能にするのか？
• RQ5 これらの発見は、自動運転車や顔認識システムなどの実世界の安全が求められる応用分野におけるDNNの信頼性とセキュリティにどのような影響を与えるか？

主な発見

• AlexNet や LeNet といったDNNは、人間がまったく認識できない画像（白色ノイズやランダムパターンなど）に対しても、最大で99.99％の信頼度スコアを割り当てた。
• 進化計算と勾配上昇法により、最先端のDNNをだます画像（だまし画像）が成功裏に生成され、人間が認識できないパターンを「ライオン」や「オートバイ」、「キーボード」などのなじみのある物体と誤認識させた。
• だまし画像をネガティブ例としてラベル付けし、DNNを再訓練した後も、新たなだまし画像を生成し、再訓練済みモデルをだますことができた。これは、DNNの耐性が限定的であることを示している。
• この現象は、DNNの意思決定境界が高次元空間において各クラスに広大な領域を割り当てており、自然なデータから大きく離れた領域にも誤検出が生じることに起因している。
• 一部の生成されただまし画像は、初見では認識不能に思えたが、ターゲットクラスを学習した後は認識可能になることがあり、DNNが人工的ではあるが現実らしく見える画像を生成できるような判別的特徴を学習している可能性を示唆している。
• 著者らは複数のだまし画像をアートコンペティションに提出したところ、採択され展示された。これは、特定の条件下ではこうした画像が芸術的または意味のあるものとして認識され得ることを示している。