[論文レビュー] AugMix: A Simple Data Processing Method to Improve Robustness and Uncertainty

Dan Hendrycks, Norman Mu+4 more|arXiv (Cornell University)|Dec 5, 2019

Adversarial Robustness in Machine Learning参考文献 48被引用数 566

ひとこと要約

AugMix は複数の拡張チェーンを混合する確率的拡張スキームを導入し、Jensen-Shannon ダイバージェンス損失で整合性を強制することで、CIFARやImageNetのスケールでデータシフト下の最先端の堅牢性と不確実性推定を実現します。

ABSTRACT

Modern deep neural networks can achieve high accuracy when the training distribution and test distribution are identically distributed, but this assumption is frequently violated in practice. When the train and test distributions are mismatched, accuracy can plummet. Currently there are few techniques that improve robustness to unforeseen data shifts encountered during deployment. In this work, we propose a technique to improve the robustness and uncertainty estimates of image classifiers. We propose AugMix, a data processing technique that is simple to implement, adds limited computational overhead, and helps models withstand unforeseen corruptions. AugMix significantly improves robustness and uncertainty measures on challenging image classification benchmarks, closing the gap between previous methods and the best possible performance in some cases by more than half.

研究の動機と目的

• 訓練-テスト分布シフト下での堅牢性と信頼できる不確実性推定を動機づける。
• シンプルで計算効率の高いデータ拡張手法を開発する。
• 拡張チェーンの混合と整合性損失を組み合わせることで、ベンチマーク全体で破損耐性と較正を改善することを示す。

提案手法

• AugMix を、入力を複数のランダムに選択された拡張チェーンを通じて確率的に拡張する手法として定義する。
• いくつかの拡張チェーンの結果をディリクレ分布に従う重みで混合し、ベータ分布に従う重みで元の画像と補間する。
• 元の画像と拡張版間のJensen-Shannon ダイバージェンス整合性損失で訓練し、安定した予測を促進する。
• 訓練時の拡張がテスト時の破損分布（ImageNet-C）と重複しないよう除外し、訓練時の拡張とテスト時の破損の間の独立性を保証する。
• CIFAR-10-C、CIFAR-100-C、ImageNet-C を用いた堅牢性の評価と、RMS 校正誤差や Brier スコアなどの不確実性の較正指標を併用する。

実験結果

リサーチクエスチョン

• RQ1 確率的拡張戦略は、クリーン精度を犠牲にせずに未知の破損に対するモデルの堅牢性を向上させることができるか？
• RQ2 Jensen-Shannon ダイバージェンス整合性損失は分布シフト下での校正を改善するか？
• RQ3 複数の拡張チェーンを混合することは、単一の拡張や他の拡張戦略と比較して、堅牢性と不確実性の観点でどう違いがあるか？
• RQ4 AugMix は CIFAR規模のデータセットから ImageNet 規模のデータセットへ、堅牢性と不確実性推定の両方の面でスケーラブルか？

主な発見

• AugMix は複数のアーキテクチャにわたり CIFAR-10-C および CIFAR-100-C の破損誤差を大幅に低減する。
• ImageNet-C では、AugMix が最先端の破損耐性を達成し、ベースラインと比較して摂動安定性（mFR）を向上させる。
• AugMix は不確実性の較正を向上させ、データシフト下での誤較正を減らす（RMS 校正誤差および Brier スコア）。
• アブレーションでは、ランダム拡張による多様性、Jensen-Shannon 整合性損失、混合が堅牢性に寄与することが示され、過度の混合や過度の調整では効果が鈍化する。