[論文レビュー] On-manifold Adversarial Data Augmentation Improves Uncertainty Calibration

Kanil Patel, William Beluch+3 more|arXiv (Cornell University)|Dec 16, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用数 7

ひとこと要約

本稿では、オートエンコーダーに基づく生成モデルの潜在空間において、データ多様体に制約を設けて adversarial 攻撃を実行することで、挑戦的で不確実性が豊富な訓練サンプルを生成する、On-Manifold Adversarial Data Augmentation (OMADA) を提案する。OMADA は、多様なデータセットおよびアーキテクチャにおいて不確実性のキャリブレーションと分類精度を向上させ、Mixup や温度スケーリングなどの後処理手法を上回る性能を示す。

ABSTRACT

Uncertainty estimates help to identify ambiguous, novel, or anomalous inputs, but the reliable quantification of uncertainty has proven to be challenging for modern deep networks. In order to improve uncertainty estimation, we propose On-Manifold Adversarial Data Augmentation or OMADA, which specifically attempts to generate the most challenging examples by following an on-manifold adversarial attack path in the latent space of an autoencoder-based generative model that closely approximates decision boundaries between two or more classes. On a variety of datasets as well as on multiple diverse network architectures, OMADA consistently yields more accurate and better calibrated classifiers than baseline models, and outperforms competing approaches such as Mixup, as well as achieving similar performance to (at times better than) post-processing calibration methods such as temperature scaling. Variants of OMADA can employ different sampling schemes for ambiguous on-manifold examples based on the entropy of their estimated soft labels, which exhibit specific strengths for generalization, calibration of predicted uncertainty, or detection of out-of-distribution inputs.

研究の動機と目的

• 安全上の重要な応用分野における、深層ニューラルネットワークの信頼性の低い不確実性推定の課題に対処すること。
• 意思決定境界に近い領域に、現実的で曖昧な訓練サンプルを生成することで、不確実性キャリブレーションを改善すること。
• データ多様体の整合性を保ちつつ、分類が困難な例を生成するデータ拡張戦略を開発すること。
• 予測の曖昧性が高まる領域に注目することで、より良い一般化性能とアウ layer検出性能を実現すること。
• 多様なアーキテクチャおよびデータセットに対して安定した性能向上を示す、強力で汎用性の高い手法を提供すること。

提案手法

• 訓練データの分離可能で低次元の潜在表現を学習するようにオートエンコーダーを訓練し、真のデータ多様体を近似する。
• 潜在空間分類器を用いて潜在コードのソフトラベルを予測し、潜在空間における勾配ベースの adversarial 攻撃を可能にする。
• データ多様体に沿って潜在コードを摂動することで、データ多様体上での adversarial 攻撃を実行し、意思決定境界に近いサンプルを生成する。
• デコーダーを用いて摂動された潜在コードを画像空間に再投影し、現実的な拡張された訓練サンプルを生成する。
• 生成された画像に潜在空間分類器からのソフトラベルを割り当て、不確実性を考慮した監視を実現する。
• 最終的な画像空間分類器を、OMADA で生成されたサンプルを含むオリジナルデータで訓練し、ソフトラベルを用いることでキャリブレーションを向上させる。

実験結果

リサーチクエスチョン

• RQ1 標準的なデータ拡張と比較して、データ多様体上での adversarial データ拡張は、深層ニューラルネットワークにおける不確実性キャリブレーションを改善できるか？
• RQ2 OMADA は Mixup や温度スケーリングなどの後処理キャリブレーション手法と比較して、キャリブレーション性能および分類精度において優れているか？
• RQ3 異なるサンプリング戦略（例：エントロピーに基づく、または一様なソフトラベル）が一般化性能およびアウ layer 検出に与える影響は何か？
• RQ4 OMADA は、イン・ディストリビューションの精度を維持したまま、分布外検出性能を向上させることができるか？
• RQ5 OMADA は、多様なネットワークアーキテクチャおよびデータセットにおいて、安定性およびキャリブレーションの観点でどの程度の性能を示すか？

主な発見

• OMADA は、複数のデータセットおよびアーキテクチャにおいて一貫して不確実性キャリブレーション（ACE）と分類精度を向上させ、Mixup を上回り、温度スケーリングと同等またはそれを上回る性能を示した。
• エントロピーの高いソフトラベルに基づくサンプリングを行う OMADA-SE は、WRN および DenseNet において CEDA を上回る、最先端のアウ layer 検出性能を達成した。
• 潜在空間分類器から得られるソフトラベルは、イン・ディストリビューションタスクにおける競争力ある性能を実現する上で不可欠であり、一方で一様ラベルは OOD 検出性能を向上させる。
• OMADA は、データ多様体上に位置し、意思決定境界に近いサンプルを生成することで、モデルの耐性を向上させ、一般化性能を改善した。
• 本手法は、複数のアーキテクチャにわたって安定しており、他の手法とは異なり、どのネットワークでも顕著な性能低下を示さなかった。
• OMADA を温度スケーリングなどの後処理手法と組み合わせることでさらなる性能向上が得られ、これは相乗効果であり、直交性を示している。