[論文レビュー] Optimal Transport Classifier: Defending Against Adversarial Attacks by Regularized Deep Embedding

Li Yao, Martin Renqiang Min+4 more|arXiv (Cornell University)|Nov 19, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用数 6

ひとこと要約

本稿では、正則化された深層符号化器を用いて高次元画像を低次元の潜在空間に投影することで、白색ボックス攻撃に対して防御するエンドツーエンドの深層学習フレームワーク、最適輸送分類器（OT-Classifier）を提案する。真のラベル分布とモデル出力分布の間の最適輸送コストを最小化することで、重要な特徴を保持しつつ敵対的摂動を軽減し、MNIST、CIFAR10、STL10、Tiny ImageNetにおいて強い敵対的攻撃下で最先端のロバスト性を達成する。

ABSTRACT

Recent studies have demonstrated the vulnerability of deep convolutional neural networks against adversarial examples. Inspired by the observation that the intrinsic dimension of image data is much smaller than its pixel space dimension and the vulnerability of neural networks grows with the input dimension, we propose to embed high-dimensional input images into a low-dimensional space to perform classification. However, arbitrarily projecting the input images to a low-dimensional space without regularization will not improve the robustness of deep neural networks. Leveraging optimal transport theory, we propose a new framework, Optimal Transport Classifier (OT-Classifier), and derive an objective that minimizes the discrepancy between the distribution of the true label and the distribution of the OT-Classifier output. Experimental results on several benchmark datasets show that, our proposed framework achieves state-of-the-art performance against strong adversarial attack methods.

研究の動機と目的

• 深層ニューラルネットワークが敵対的サンプルに対して脆弱であるという問題に取り組むこと、特にモデルの完全なアクセスが可能な白色ボックス攻撃設定下での脆弱性に焦点を当てる。
• 高次元の画像入力を低次元の潜在空間に投影することで、モデルのロバスト性の低下を軽減し、敵対的摂動を軽減すること。
• 低次元埋め込みが分類に最も関連する特徴のみを保持することを保証し、識別的情報の損失を避けること。
• 最適輸送理論を用いて、真のラベル分布とモデル出力分布の間の分布差を最小化する防御メカニズムを形式化すること。
• 複数のベンチマークデータセットにおいて、強い敵対的攻撃に対して、既存の防御手法を上回るロバスト性を達成すること。

提案手法

• フレームワークは、入力画像を低次元の潜在空間に写像する深層符号化器を用い、その後、最終的な予測を行う分類器ヘッドを備える。
• 潜在空間にディスクリミネーターを導入し、符号化器の出力分布が事前分布（標準正規分布）に一致するように、GANに類似した敵対的メカニズムを用いて制約を課す。
• 真のクラス分布とOT-Classifierの出力分布の間の最適輸送コストを最小化することで、写像過程における特徴の保持を保証する。
• 分類のための交差エントロピー損失と、最適輸送理論から導出された分布正則化項を組み合わせた目的関数を採用する。
• 符号化器とディスクリミネーターをエンドツーエンドで共同訓練し、ディスクリミネーターが潜在空間を整合性があり、低次元の多様体へと形状づける正則化子として機能する。
• 敵対的訓練を通じて敵対的サンプルを用いてフレームワークを学習させることで、白色ボックス攻撃シナリオ下でのさらなるロバスト性を強化する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの入力次元を低減させることで、白色ボックス攻撃に対するロバスト性が向上するか？
• RQ2 埋め込みプロセスをどのように正則化すれば、敵対的ノイズを抑制しつつ、最も識別に寄与する特徴のみを保持できるか？
• RQ3 最適輸送理論を効果的に活用して、真のラベルとモデル出力の間の分布差を最小化する防御フレームワークを構築できるか？
• RQ4 表現学習と分布正則化を統合したエンドツーエンドアーキテクチャは、標準ベンチマークにおいて既存の防御手法を上回る性能を発揮するか？
• RQ5 OT-Classifierは、強い敵対的攻撃下で優れたロバスト性を達成する一方で、クリーンな精度をどの程度維持できるか？

主な発見

• OT-Classifierは、強い白色ボックス敵対的攻撃下で、MNIST、CIFAR10、STL10、Tiny ImageNetにおいて最先端のロバスト精度を達成する。
• 入力を低次元空間に写像することで、敵対的摂動の影響が著しく軽減され、その摂動が減衰する。
• 最適輸送に基づく正則化を用いることで、潜在空間が分類に最も関連する特徴のみを保持し、情報損失を最小限に抑える。
• 特に敵対的訓練を組み合わせた場合、他の最先端の防御手法を上回る性能を示す。
• 実験的結果から、画像データの固有次元はピクセル空間の次元よりもはるかに低いことが示され、本手法の根幹にある仮定が裏付けられる。
• GANに類似したディスクリミネーターは、潜在空間を標準正規分布事前分布に従わせる効果的な正則化を実現し、ロバスト性の向上に寄与する。