[論文レビュー] VarMixup: Exploiting the Latent Space for Robust Training and Inference

Puneet Mangla, Vedant Singh+2 more|arXiv (Cornell University)|Mar 14, 2020

Adversarial Robustness in Machine Learning参考文献 5被引用数 4

ひとこと要約

VarMixup は、深層ニューラルネットワークの潜在空間を活用してより頑健な訓練サンプルを生成する、新たなデータ拡張技術を提案する。敵対的ロバストネスを著しく向上させるが、敵対的訓練を必要としない。CIFAR-10、CIFAR-100、SVHN、Tiny-ImageNet において、最先端の敵対的訓練手法を上回り、データ多様体から積極的にミックスアップ画像をサンプリングすることで、優れたロバストネス、低めのキャリブレーション誤差、および転送可能性を達成する。

ABSTRACT

The vulnerability of Deep Neural Networks (DNNs) to adversarial attacks has led to the development of many defense approaches. Among them, Adversarial Training (AT) is a popular and widely used approach for training adversarially robust models. Mixup Training (MT), a recent popular training algorithm, improves the generalization performance of models by introducing globally linear behavior in between training examples. Although still in its early phase, we observe a shift in trend of exploiting Mixup from perspectives of generalisation to that of adversarial robustness. It has been shown that the Mixup trained models improves the robustness of models but only passively. A recent approach, Mixup Inference (MI), proposes an inference principle for Mixup trained models to counter adversarial examples at inference time by mixing the input with other random clean samples. In this work, we propose a new approach - extit{VarMixup (Variational Mixup)} - to better sample mixup images by using the latent manifold underlying the data. Our experiments on CIFAR-10, CIFAR-100, SVHN and Tiny-Imagenet demonstrate that extit{VarMixup} beats state-of-the-art AT techniques without training the model adversarially. Additionally, we also conduct ablations that show that models trained on extit{VarMixup} samples are also robust to various input corruptions/perturbations, have low calibration error and are transferable.

研究の動機と目的

• 敵対的攻撃に対して脆弱な深層ニューラルネットワークの脆弱性を、改善されたデータ拡張によってロバストネスを向上させることで解決すること。
• 標準的なミックスアップ訓練における受動的ロバストネスの限界を克服し、ミックスアップサンプリング中に潜在的なデータ多様体を積極的に活用すること。
• 敵対的訓練を必要とせずに、敵対的例、分布シフト、入力の汚染に対してロバストな訓練手法を開発すること。
• 潜在空間におけるより構造的なサンプリング戦略を通じて、モデルのキャリブレーションと転送可能性を向上させること。
• 潜在空間に配慮したミックスアップサンプリングが、標準的または敵対的訓練で学習されたモデルよりも一般化性能が高く、よりロバストであることを示すこと。

提案手法

• VarMixup は、事前に学習されたオートエンコーダーまたは特徴エンコーダーの潜在空間からミックスアップ拡張をサンプリングするための変分推論フレームワークを導入する。
• 入力画像の潜在表現を変分オートエンコーダー（VAE）でモデル化することで、多様で意味的に意味のあるミックスアップサンプルの生成を可能にする。
• この手法はピクセル空間ではなく潜在空間でミックスアップを実行し、補間された潜在コードを用いて新しい訓練サンプルを生成する。
• 潜在コードは学習された後方分布からサンプリングされ、補間されたサンプルがデータ多様体上またはその周辺に位置することを保証する。
• 訓練中、モデルはこれらの潜在空間におけるミックスアップサンプル上で最適化され、これによりグローバルな線形挙動が促進され、ロバストネスが向上する。
• このアプローチは標準的な訓練パイプラインと互換性があり、敵対的データ生成や敵対的損失項を必要としない。

実験結果

リサーチクエスチョン

• RQ1 データの潜在多様体からミックスアップ拡張をサンプリングすることで、標準的なミックスアップや敵対的訓練よりも効果的に敵対的ロバストネスを向上させることができるか？
• RQ2 VarMixup は敵対的例に加え、自然な分布シフトや入力のノイズに対してもロバストネスを向上させるか？
• RQ3 VarMixup で訓練されたモデルは、標準的および敵対的訓練のベースラインと比較して、より優れたキャリブレーションと転送可能性を達成できるか？
• RQ4 複数のベンチマークデータセットにおいて、VarMixup の性能は最先端の敵対的訓練技術と比較してどうなるか？
• RQ5 明示的な敵対的データ拡張なしに、潜在空間の補間を用いることで、一般化性能とロバストネスがどの程度向上するか？

主な発見

• VarMixup は、敵対的訓練を一切行わず、CIFAR-10、CIFAR-100、SVHN、Tiny-ImageNet で最先端のロバスト正答率を達成し、既存のAT手法を上回る。
• VarMixup で訓練されたモデルは、さまざまな自然な汚染や摂動に対しても強いロバストネスを示しており、敵対的例を超えた一般化能力を示している。
• モデルは低めのキャリブレーション誤差を示しており、分布シフト下でも信頼性の高い確信度推定が可能であることを示している。
• VarMixup で訓練されたモデルは高い転送可能性を示しており、学習された表現がロバストで一般化可能であることを示している。
• アブレーションスタディにより、潜在空間のサンプリング戦略が性能向上の鍵であることが確認され、ランダムまたはピクセル空間でのミックスアップでは同様の向上が得られないことが分かった。
• 敵対的データ拡張を明示的に使用せずに、優れたロバストネスを維持しながら高い自然正答率を達成しており、ロバストネスと通常性能の間の良好なトレードオフを実現している。