[論文レビュー] Model-Based Robust Deep Learning.

Alexander Robey, Hamed Hassani+1 more|arXiv (Cornell University)|May 20, 2020

Adversarial Robustness in Machine Learning参考文献 83被引用数 21

ひとこと要約

この論文は、敵対的ノイズではなく、照明や天候などの自然なデータ変動に対する頑健性に注目したモデルベースのロバストディープラーニングを導入する。自然な変動のモデル（学習済みまたは既知のもの）を用いることで、著者らは3つの新しいトレーニングアルゴリズムを提案し、多様な現実世界の条件下でディープニューラルネットワークの精度を顕著に向上させ、標準的およびノルムバウンデッドなロバストトレーニング手法を上回る性能を示した。

ABSTRACT

While deep learning has resulted in major breakthroughs in many application domains, the frameworks commonly used in deep learning remain fragile to artificially-crafted and imperceptible changes in the data. In response to this fragility, adversarial training has emerged as a principled approach for enhancing the robustness of deep learning with respect to norm-bounded perturbations. However, there are other sources of fragility for deep learning that are arguably more common and less thoroughly studied. Indeed, natural variation such as lighting or weather conditions can significantly degrade the accuracy of trained neural networks, proving that such natural variation presents a significant challenge for deep learning. In this paper, we propose a paradigm shift from perturbation-based adversarial robustness toward {\em model-based robust deep learning}. Our objective is to provide general training algorithms that can be used to train deep neural networks to be robust against natural variation in data. Critical to our paradigm is first obtaining a \emph{model of natural variation} which can be used to vary data over a range of natural conditions. Such models may be either known a priori or else learned from data. In the latter case, we show that deep generative models can be used to learn models of natural variation that are consistent with realistic conditions. We then exploit such models in three novel model-based robust training algorithms in order to enhance the robustness of deep learning with respect to the given model. Our extensive experiments show that across a variety of naturally-occurring conditions and across various datasets, deep neural networks trained with our model-based algorithms significantly outperform both standard deep learning algorithms as well as norm-bounded robust deep learning algorithms.

研究の動機と目的

• 敵対的摂動よりも一般的な、照明、天候、環境条件の変化といった自然な変動に対してディープニューラルネットワークが脆いという問題に取り組む。
• 現在の敵対的ロバストネス手法が、現実的で自然に発生するデータ変動に対処するのに不十分であることを特定する。
• 現実的でデータ駆動的な変動に耐性を持つよう訓練するという、新たなパラダイム「モデルベースのロバストディープラーニング」を提案する。
• 自然な変動の明示的モデルを活用して、現実世界のシナリオにおける一般化とロバストネスを向上させるトレーニングアルゴリズムを開発する。
• 複数のデータセットおよび環境条件下で、モデルベースのトレーニングが標準的およびノルムバウンデッドな敵対的トレーニングを上回ることを実証する。

提案手法

• 既知の物理モデルまたはデータ分布に学習された深層生成モデルを用いて、自然なデータ変動をモデル化するフレームワークを開発する。
• 学習済みまたは事前定義された自然な変動モデルを用いて、現実的な環境条件を反映する多様なトレーニングデータを合成する。
• バックプロパゲーション中に変動モデルを統合することで、自然な摂動下での一般化を向上させる3つの新しいロバストトレーニングアルゴリズムを設計する。
• 変動モデルをトレーニングループに統合し、モデルから摂動を含むデータポイントをサンプリングし、ネットワークがこうした現実的な変化に対して不変であるように最適化する。
• 実データ分布に学習させることで、変動モデルが現実世界のデータと整合し、複雑で高次元の自然なシフトを捉えることができる。
• 複数のベンチマークデータセットにわたる標準的なディープラーニングアーキテクチャに、得られたトレーニングアルゴリズムを適用し、自然な条件下での頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースのアプローチを用いることで、照明、天候、センサー状態の変化といった自然な変動に対してディープニューラルネットワークを頑健化させられるか？
• RQ2 現実的なデータ変動下での頑健性という観点から、モデルベースのロバストトレーニングは標準的およびノルムバウンデッドな敵対的トレーニングと比べてどのように差がつくか？
• RQ3 学習済みの深層生成モデルが、ロバストトレーニングに使用するための自然なデータ変動をどれだけ効果的に捉え、表現できるか？
• RQ4 自然な変動の明示的モデルを組み込むことで、敵対的トレーニングのみに比べ、実世界のテストデータにおける一般化とパフォーマンスが向上するか？
• RQ5 提案されたトレーニングアルゴリズムは、多様なデータセットおよび環境条件下で一貫した頑健性の向上を達成できるか？

主な発見

• 提案されたモデルベースのロバストトレーニングアルゴリズムで訓練されたディープニューラルネットワークは、自然な環境変動下で、さまざまなデータセットにおいて標準的トレーニングよりも顕著に高い精度を達成する。
• モデルベースのアプローチはノルムバウンデッドな敵対的トレーニングを上回り、天候や照明の変化といった現実的で高次元のデータシフトに対して優れた頑健性を示す。
• 学習済みの深層生成モデルは、複雑な自然な変動パターンを効果的に捉え、ロバストトレーニングに適した正確で現実的なデータオーグメンテーションを可能にする。
• 提案されたトレーニングアルゴリズムは、ImageNet や CIFAR-10 を含むさまざまなデータセットにおいて、多様な現実世界の条件下で良好に一般化する。
• 標準的および敵対的トレーニングが一般化に失敗する極端またはレアな自然条件において、頑健性の向上が特に顕著に現れる。
• 明示的な変動モデルの使用により、より安定的で一般化可能な表現が得られ、実世界の展開における分布シフトへの感受性が低下する。