[論文レビュー] Adversarial Examples, Uncertainty, and Transfer Testing Robustness in Gaussian Process Hybrid Deep Networks

John Bradshaw, Alexander Matthews+1 more|arXiv (Cornell University)|Jul 8, 2017

Gaussian Processes and Bayesian Inference参考文献 36被引用数 122

ひとこと要約

本論文は Gaussian Process hybrid deep networks (GPDNNs) を提案し、CNN 表現と GP のトップレイヤを組み合わせて不確実性のキャリブレーションと敵対的例およびドメインシフトに対する頑健性を向上させ、MNIST および CIFAR-10 で評価しています。GPDNNs は従来の NN よりも不確実性とレジリエンスが高く、特にドメイン転送時に顕著です。

ABSTRACT

Deep neural networks (DNNs) have excellent representative power and are state of the art classifiers on many tasks. However, they often do not capture their own uncertainties well making them less robust in the real world as they overconfidently extrapolate and do not notice domain shift. Gaussian processes (GPs) with RBF kernels on the other hand have better calibrated uncertainties and do not overconfidently extrapolate far from data in their training set. However, GPs have poor representational power and do not perform as well as DNNs on complex domains. In this paper we show that GP hybrid deep networks, GPDNNs, (GPs on top of DNNs and trained end-to-end) inherit the nice properties of both GPs and DNNs and are much more robust to adversarial examples. When extrapolating to adversarial examples and testing in domain shift settings, GPDNNs frequently output high entropy class probabilities corresponding to essentially "don't know". GPDNNs are therefore promising as deep architectures that know when they don't know.

研究の動機と目的

• 深層モデルの現実運用における適切に較正された不確実性の必要性を動機づける。
• CNN 表現とベイズ的不確実性を組み合わせる end-to-end 学習のための Gaussian processes 上の深層ネットワーク—GPDNNs を提案する。
• 分類性能、敵対的頑健性、および vanilla CNN に対する GPDNNs の転移テストを評価する。
• 特にドメインシフト時に、GPDNNs がより良い不確実性推定と頑健性を提供することを示す。

提案手法

• 変分性 induing points を用いた GP トップレイヤを持つ CNN として GPDNNs を構築し、端から端で学習させる。
• inducing points に対して log p(Y) ≥ sum_y,x∈Y E_q(f_x)[log p(y|f_x)] − KL(q(f_Z)||p(f_Z)) の変分下界を用いる。
• 標準の softmax の代わりに多クラス分類には robust max（robustmax）を採用する。
• TensorFlow と GPflow を用いて GP 部分を逆伝播させながらエンドツーエンドで学習する。
• アーキテクチャを A (NN)、B (NN with extra layer)、C (GPDNN) として MNIST および CIFAR-10 データセットで比較する。
• Accuracy と log-likelihood で評価し、FGSM および Carlini–Wagner L2 攻撃に対する頑健性と、アウト・オブ・ドメインの digit データセットへの転移を分析する。

実験結果

リサーチクエスチョン

• RQ1 GPDNNs は競争力のある分類精度を維持しつつ、より良く較正された不確実性を提供できるのか？
• RQ2 GPDNNs は標準的な CNN と比べて敵対的摂動に対する頑健性を高めるのか？
• RQ3 GPDNNs はアウト・オブ・ドメイン画像データセットへの転移時にドメインシフトに対してより頑健なのか？
• RQ4 GPDNNs の不確実性指標（予測エントロピー / 対数尤度）は、敵対的および転移設定でどう振る舞うのか？

主な発見

• GPDNNs は MNIST で Vanilla NN より誤差率が低く、対数尤度が高いことを示し、特に訓練データが限られている場合に顕著。
• CIFAR-10 では、GPDNNs は精度と対数尤度のわずかな改善を示し、より深い base ネットワークが学習ダイナミクスを改善。
• MNIST での FGSM 敵対的摂動下では、GPDNNs は誤差と対数尤度の劣化が緩く、予測的不確実性領域での予測エントロピーが高い。
• CW L2 攻撃に対して、多くの GPDNN 摂動はモデルを惑わしにくく、頑健性の改善を示唆。
• ANOMNIST、Semeion、SVHN への転移テストでは、GPDNNs は Vanilla NN より対数尤度が高く、過信を抑制しており、ドメインシフトの取り扱いが改善されていることを示す。