[論文レビュー] Detecting Adversarial Examples and Other Misclassifications in Neural Networks by Introspection

Jonathan Aigrain, Marcin Detyniecki|arXiv (Cornell University)|May 22, 2019

Adversarial Robustness in Machine Learning被引用数 14

ひとこと要約

本稿では、事前学習された分類器のログティトを用いて、敵対的例、分布外入力、および通常の誤分類を検出する3層のニューラルネットワーク、Introspection-Netを提案する。敵対的データ拡張を用いてログティット活性化を訓練することで、特に分布外および敵対的例において優れた検出性能を達成し、Softmax Thresholding や Trust Score といったベースライン手法を上回る。

ABSTRACT

Despite having excellent performances for a wide variety of tasks, modern neural networks are unable to provide a reliable confidence value allowing to detect misclassifications. This limitation is at the heart of what is known as an adversarial example, where the network provides a wrong prediction associated with a strong confidence to a slightly modified image. Moreover, this overconfidence issue has also been observed for regular errors and out-of-distribution data. We tackle this problem by what we call introspection, i.e. using the information provided by the logits of an already pretrained neural network. We show that by training a simple 3-layers neural network on top of the logit activations, we are able to detect misclassifications at a competitive level.

研究の動機と目的

• ニューラルネットワークが誤った予測に対して過信しすぎるという深刻な問題に対処すること。これは、敵対的例、分布外入力、および通常の誤りを含む。
• ソフトマックスにかかわらず、事前学習された分類器の生ログティット（softmaxの前）に、信頼度推定に有用な情報が含まれるかどうかを調査すること。
• ベース分類器の再訓練を必要とせず、内部ネットワーク表現（内省）を活用することで、信頼性を向上させるモデルに依存しない検出手法を開発すること。
• ソフトマックス出力が誤って自信を持っている場合でも、ログティットが検出に有用な情報を保持していることを実証すること。

提案手法

• 事前学習された分類器のログティットを入力として、正しく分類された場合に1、誤って分類された場合に0の信頼度スコアを予測する3層の全結合ニューラルネットワーク（Introspection-Net）を訓練する。
• FGSM、BIM、DeepFool攻撃を用いた敵対的訓練により、学習中に誤分類例にさらされるようにする。
• 回転、シフト、ズームなどのデータ拡張を適用して、信頼度予測子の汎化性能とロバストネスを向上させる。
• 分布内、敵対的、分布外、誤り例を含むバランスの取れたデータセット上で、平均二乗誤差損失を用いてIntrospection-Netを訓練する。
• 標準指標（AUROC、AUPR（内と外）、95％TPRにおけるFPR）を用いてモデルを評価する。
• MNISTとCIFAR-10の両方のデータセットに、それぞれ畳み込みニューラルネットワークとWide ResNetを用いて、アーキテクチャおよびデータセットの多様性にわたる汎化性をテストする。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたニューラルネットワークの生ログティットは、誤分類の検出に信頼できる信頼度信号を提供できるか？
• RQ2 内部活性化（内省）を分析することで、ソフトマックス確率に依存するのと比べて、敵対的例の検出性能が向上するか？
• RQ3 ログティット上で訓練された単純で軽量なモデルは、異なるデータセットおよびニューラルネットワークアーキテクチャにわたって汎化できるか？
• RQ4 ソフトマックスベースラインやTrust Scoreといった既存手法と比較して、ログティットに基づく検出の性能は、複数のタイプの誤分類においてどう異なるか？
• RQ5 追加のモデル再訓練を必要とせず、ログティットの大きさと分布のみを用いて、分布外および敵対的例を効果的に検出することは可能か？

主な発見

• Introspection-Netは、Softmax Baseline や Trust Score よりも、分布外データの検出において顕著に優れており、ガウスノイズでは0.0％のFPRを達成し、すべてのOODデータセットでほぼ完璧なAUROCを達成した。
• 敵対的例検出においては、CIFAR-10実験でBIM攻撃に対して97.6のAUROCを達成したのに対し、Softmax Baselineは14.4、Trust Scoreは56.1にとどまった。
• OOD検出において最も優れた性能を示し、ガウス分布、一様分布、CIFAR-10、Fashion-MNISTのすべてのテストOODデータでほぼ完璧なスコアを記録した。一方で、敵対的例の検出においても、ベースラインを上回った。
• 誤り検出は最も挑戦的なタスクであり、すべての手法が同程度の性能を示した。これは、ログティットだけでは自然な誤りと正しい予測を区別するのに不十分である可能性を示唆している。
• Softmax Baselineは、DeepFool攻撃に対して最も優れた性能を示した。これは、その最大ソフトマックス確率が低く（54.0％）なため、しきい値による検出が容易だったからである。これは、ソフトマックスに依存する手法の限界を示している。
• 敵対的訓練を要するものの、Introspection-NetはCNN（MNIST）とWide ResNet（CIFAR-10）といった異なるアーキテクチャにわたって良好に一般化し、このアプローチのロバストネスと転送可能性を示した。