[論文レビュー] Increasing the robustness of DNNs against image corruptions by playing the Game of Noise

Evgenia Rusak, Lukas Schott+5 more|arXiv (Cornell University)|Jan 16, 2020

Adversarial Robustness in Machine Learning被引用数 38

ひとこと要約

本論文は、画像の汚染に対して深層ニューラルネットワークのロバスト性を著しく向上させるノイズ拡張訓練戦略を提案する。加法的ガウスノイズとスパクルノイズを用いた訓練に加え、敵対的ノイズ正則化を適用することで、アーキテクチャの変更なしに、ImageNet-CおよびMNIST-Cベンチマークで最先端の性能を達成した。

ABSTRACT

The human visual system is remarkably robust against a wide range of naturally occurring variations and corruptions like rain or snow. In contrast, the performance of modern image recognition models strongly degrades when evaluated on previously unseen corruptions. Here, we demonstrate that a simple but properly tuned training with additive Gaussian and Speckle noise generalizes surprisingly well to unseen corruptions, easily reaching the previous state of the art on the corruption benchmark ImageNet-C (with ResNet50) and on MNIST-C. We build on top of these strong baseline results and show that an adversarial training of the recognition model against uncorrelated worst-case noise distributions leads to an additional increase in performance. This regularization can be combined with previously proposed defense methods for further improvement.

研究の動機と目的

• レイン、スノウ、ブラーなどの未観測の画像汚染に対して深層ニューラルネットワークの一般化性能が低いという問題に対処すること。
• 訓練中にノイズ拡張が、ロバスト性向上のための単純かつ効果的な正則化戦略として機能するかどうかを調査すること。
• 最悪のノイズ分布に対する敵対的訓練が、標準的なノイズ拡張を上回るロバストネスの向上をもたらすかどうかを検討すること。
• 提案手法が既存の防御技術と組み合わせることで、さらなる性能向上が得られるかどうかを評価すること。

提案手法

• 未観測の汚染に対して一般化を向上させるために、最適化中に加法的ガウスノイズとスペクルノイズを用いて深層ニューラルネットワークを訓練する。
• モデルの損失を最大化するように、相関のない最悪のノイズ分布に対して敵対的訓練を適用する。
• 最小化-最大化の定式化を用いて、現在のモデルに対して最悪のノイズを生成し、敵対的正則化によってロバストネスを強化する。
• ノイズ拡張と敵対的訓練のアプローチを組み合わせ、強力なベースライン防御を構築する。
• 既存の防御技術と提案手法を統合し、相乗効果の有無を評価する。
• ImageNet-CやMNIST-Cのような標準ベンチマークで最終モデルを評価し、多様な汚染下でのロバストネスを測定する。

実験結果

リサーチクエスチョン

• RQ1 加法的ガウスノイズとスペクルノイズを用いた訓練が、未観測の画像汚染に対するDNNのロバストネスを著しく向上させることができるか？
• RQ2 最悪のノイズ分布に対する敵対的訓練が、標準的なノイズ拡張を上回るロバストネスの向上をもたらすか？
• RQ3 提案手法は、標準的な汚染ベンチマークにおいて、先行する最先端の防御手法と比較してどうなるか？
• RQ4 提案されたノイズベースの正則化は、既存の防御技術と効果的に組み合わせられ、さらなる性能向上をもたらすか？

主な発見

• 提案されたノイズ拡張訓練アプローチは、ResNet50アーキテクチャを用いた場合、ImageNet-Cベンチマークで最先端の性能を達成した。
• この手法はMNIST-Cベンチマークでも最先端の結果を達成し、異なるデータセット間での強力な一般化能力を示した。
• 最悪のノイズ分布に対する敵対的訓練は、標準的なノイズ訓練を上回る、測定可能なロバストネスの向上をもたらした。
• ノイズベースの正則化技術は、既存の防御手法と互換性があり、それらを強化することができ、相乗効果があることを示唆した。
• このアプローチは、アーキテクチャの変更なしに、データレベルの正則化に依存するだけで、これらの結果を達成した。
• この手法は、未観測の汚染に対しても強力な一般化を示し、ノイズ注入による不変性学習が効果的であることを示した。