[論文レビュー] Model-Based Robust Deep Learning: Generalizing to Natural, Out-of-Distribution Data

Alexander Robey, Hamed Hassani+1 more|arXiv (Cornell University)|May 20, 2020

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本稿では、自然な分布シフト（照明や天候の変化など）に対するニューラルネットワークの頑健性を向上させる、モデルベースのロバストディープラーニングというパラダイムを提案する。この手法は、自然な変動の学習済みまたは既知のモデルを活用することで、実際のデータの変化に強い性能を達成する。このアプローチにより一般化性能が著しく向上し、SOTA手法と比較してImageNet-cではトップ1精度が最大30ポイント向上した。

ABSTRACT

While deep learning has resulted in major breakthroughs in many application domains, the frameworks commonly used in deep learning remain fragile to artificially-crafted and imperceptible changes in the data. In response to this fragility, adversarial training has emerged as a principled approach for enhancing the robustness of deep learning with respect to norm-bounded perturbations. However, there are other sources of fragility for deep learning that are arguably more common and less thoroughly studied. Indeed, natural variation such as lighting or weather conditions can significantly degrade the accuracy of trained neural networks, proving that such natural variation presents a significant challenge for deep learning. In this paper, we propose a paradigm shift from perturbation-based adversarial robustness toward model-based robust deep learning. Our objective is to provide general training algorithms that can be used to train deep neural networks to be robust against natural variation in data. Critical to our paradigm is first obtaining a model of natural variation which can be used to vary data over a range of natural conditions. Such models may be either known a priori or else learned from data. In the latter case, we show that deep generative models can be used to learn models of natural variation that are consistent with realistic conditions. We then exploit such models in three novel model-based robust training algorithms in order to enhance the robustness of deep learning with respect to the given model. Our extensive experiments show that across a variety of naturally-occurring conditions and across various datasets, deep neural networks trained with our model-based algorithms significantly outperform both standard deep learning algorithms as well as norm-bounded robust deep learning algorithms.

研究の動機と目的

• 照明、天候、センサ条件の変化といった、現実世界の自然なデータ変化に対するディープラーニングモデルの脆さを解消すること。
• ノルム制限付きの摂動に基づく敵対的頑健性から、目に見える自然な分布シフトに対する頑健性へと焦点を移すこと。
• 自然な変動のモデルを活用して一般化性能と分布外頑健性を向上させる、汎用的な訓練フレームワークの開発。
• 転移性とマルチシフト頑健性を含め、多様なデータセットとタスクに広く適用可能であることを実証すること。
• 敵対的訓練、データ拡張、ドメイン適応といった既存手法よりも、自然な分布シフトに対する頑健性を上回ること。

提案手法

• 自然な変動の多様体内での最悪入力を求めるモデルベースのロバスト最適化問題を定式化し、$ x' \in B(x) = \{ G(x, \delta) \mid \delta \in \Delta \} $ と定義する。ここで $ G $ は自然変換をモデル化する。
• MUNITのような深層生成モデルを用いて、データから未知の自然な変動モデルを学習し、現実的な分布シフトのデータ駆動的モデリングを可能にする。
• 3つの新しい訓練アルゴリズムを提案：モデルベースのロバスト訓練（MRT）、モデルベースの敵対的訓練（MAT）、モデルベースのデータ拡張（MDA）。これらはすべて、学習済みの変動モデルを用いて頑健性を最適化することを目的としている。
• 学習済みの自然な変動モデルを訓練プロセスに統合し、現実世界の分布シフトを模倣する多様で現実的な摂動を生成する。
• 変動モデルの学習と分類器の訓練を分離することで、モジュラで転送可能な頑健性訓練を実現する。
• 教師なしドメイン適応にこのフレームワークを適用し、変動モデルを用いてソースドメインとターゲットドメインを統合することで、ラベルなしのターゲットデータでも一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 データから自然な変動のモデルを効果的に学習でき、ノルム制限付き摂動を超えるディープラーニングの頑健性向上に寄与するのか？
• RQ2 モデルベースのロバスト訓練は、敵対的訓練やデータ拡張と比較して、自然な分布外シフトをどのように処理するのか？
• RQ3 学習済みの自然な変動モデルを組み合わせることで、複数の同時分布シフトに対する頑健性を達成できるのか？
• RQ4 あるデータセットで学習したモデルは、未確認の新しいデータセットに転送可能で、未確認の分布シフトに対しても頑健性を提供できるのか？
• RQ5 教師なしドメイン適応の文脈において、モデルベースのロバスト訓練は従来のドメイン適応技術を上回るのか？

主な発見

• ImageNetからImageNet-cへのシフトにおいて、提案手法のモデルベースアルゴリズムは、ベースライン手法と比較してトップ1精度が最大30ポイント向上した。
• 自然な分布外データにおいて、SOTA分類器と比較して、最大20〜30ポイントの精度向上を達成した。
• 学習済みの自然な変動モデルを組み合わせることで、複数の同時分布シフトに対する頑健性を示した。新しく収集された複数の変動要因を含むデータセットを用いて実証された。
• あるデータセットで学習した自然な変動モデルは、新しいデータセットへの転送に成功し、未確認の分布シフトに対しても顕著な頑健性を示した。
• 教師なしドメイン適応の文脈において、モデルベースのアルゴリズムは従来のドメイン適応技術を上回り、ラベルなしのターゲットデータでも一般化性能が向上した。
• 本手法はMNIST、SVHN、GTSRB、CURE-TSR、ImageNetを含む12の多様なデータセットに一般化され、広範な適用性と一貫した性能向上を示した。