[論文レビュー] Manifold Regularized Deep Neural Networks using Adversarial Examples

Taehoon Lee, Minsuk Choi+1 more|arXiv (Cornell University)|Nov 19, 2015

Adversarial Robustness in Machine Learning参考文献 25被引用数 12

ひとこと要約

本稿では、複数の層にわたる元のサンプルと adversarial サンプル間の活性化差を最小化することで、adversarial 例に対して頑健性を向上させる深層学習フレームワークである Manifold Regularized Networks (MRnet) を提案する。多様体損失を組み込むことで近接関係を保持し、特徴の一般化性能を向上させ、MNIST、CIFAR-10、SVHN において競争力ある精度と学習された表現における強化されたクラスタリング対比を達成する。

ABSTRACT

Learning meaningful representations using deep neural networks involves designing efficient training schemes and well-structured networks. Currently, the method of stochastic gradient descent that has a momentum with dropout is one of the most popular training protocols. Based on that, more advanced methods (i.e., Maxout and Batch Normalization) have been proposed in recent years, but most still suffer from performance degradation caused by small perturbations, also known as adversarial examples. To address this issue, we propose manifold regularized networks (MRnet) that utilize a novel training objective function that minimizes the difference between multi-layer embedding results of samples and those adversarial. Our experimental results demonstrated that MRnet is more resilient to adversarial examples and helps us to generalize representations on manifolds. Furthermore, combining MRnet and dropout allowed us to achieve competitive classification performances for three well-known benchmarks: MNIST, CIFAR-10, and SVHN.

研究の動機と目的

• 微小で目に見えない adversarial パーティクルが性能を低下させる深層ニューラルネットワークの脆弱性に対処すること。
• 高次元表現における局所的近傍構造を保つことで、深層学習と多様体学習を統合すること。
• adversarial 例に対して不変となる学習目的を開発し、分類精度を維持または向上させること。
• 深層層における元のサンプルと adversarial サンプルの埋め込み同士の類似性を強制することで、学習された特徴の一般化と分離性を向上させること。
• adversarial 例による多様体正則化が、より頑健で意味のある低次元表現をもたらすことを示すこと。

提案手法

• 元のサンプルと adversarial サンプルの最終隠れ層活性化の L2 範囲差を最小化する多様体損失項 Φ を提案する。すなわち、||a^(L) - a'^(L)||₂。
• adversarial パーティクルによる初期学習不安定性を回避するため、vanilla ネットワークの事前学習後にのみ多様体損失 Φ を適用する。
• 標準的な確率的勾配降下法にモーメンタムを組み合わせ、既存の深層学習最適化パイプラインとの互換性を確保する。
• ネットワークの埋め込み空間を正則化するために、fast gradient sign method (FGSM) で生成された adversarial 例を摂動付きの対として用いる。
• ドロップアウトと組み合わせることで、さらに一般化性能を向上させ、ベンチマークデータセットで競争力のある性能を達成する。
• t-SNE 視覚化とクラスタリング指標（シルエット係数、Dunn 指数）を用いて、学習された多様体表現の質を評価する。

実験結果

リサーチクエスチョン

• RQ1 adversarial 例を用いた正則化が、微小な入力摂動に対して頑健性を向上させることができるか？
• RQ2 元のサンプルと adversarial サンプルの埋め込み同士の類似性を強制することで、深層ニューラルネットワークにおける一般化性能が向上するか？
• RQ3 adversarial 例による多様体正則化が、学習された特徴のクラスタリング構造と分離性を向上させることができるか？
• RQ4 標準的な adversarial 訓練と比較して、提案された多様体損失は表現品質と分類精度の面で優れているか？
• RQ5 MRnet は、vanilla ネットワークと比較して、特徴多様体の幾何的構造をどの程度向上させるか？

主な発見

• MRnet は SVHN でテスト精度 97.521±0.052 を達成し、標準的な訓練プロトコルを上回り、強力な一般化性能を示した。
• 多様体クラスタリングの Dunn 指数は、多様体損失を適用した後、31.45% 向上し、クラス内とクラス間クラスタの分離が著しく良好になったことを示した。
• 最後の隠れ層における元のサンプルと adversarial サンプルの活性化間の平均 L2 距離は 3.57 にまで低下し、埋め込みが非常に近い領域に射影されたことを示した。
• t-SNE 視覚化では、MRnet は同様のクラス（例：自動車）をコンパクトで整合性のあるクラスタにグループ化したが、vanilla ネットワークでは散らばっていた。
• 多様体損失を適用した後、誤った近隣クラス（例：鳥の画像が犬や鹿の近くに位置する）の数が減少し、局所構造の保存が向上したことが確認された。
• MRnet にドロップアウトを組み合わせることで、MNIST、CIFAR-10、SVHN で競争力ある分類性能が得られ、本手法の頑健性とスケーラビリティが検証された。