[論文レビュー] On Interaction Between Augmentations and Corruptions in Natural Corruption Robustness

Eric Mintun, Alexander Kirillov+1 more|arXiv (Cornell University)|Feb 22, 2021

Domain Adaptation and Few-Shot Learning被引用数 31

ひとこと要約

本論文は、最小サンプル距離（MSD）測定を用いてデータ拡張とテスト時の劣化の perceptual similarity フレームワークを提案し、拡張-劣化の類似性が劣化エラーを予測し、類似しない劣化への一般化には限界があることを示す。

ABSTRACT

Invariance to a broad array of image corruptions, such as warping, noise, or color shifts, is an important aspect of building robust models in computer vision. Recently, several new data augmentations have been proposed that significantly improve performance on ImageNet-C, a benchmark of such corruptions. However, there is still a lack of basic understanding on the relationship between data augmentations and test-time corruptions. To this end, we develop a feature space for image transforms, and then use a new measure in this space between augmentations and corruptions called the Minimal Sample Distance to demonstrate a strong correlation between similarity and performance. We then investigate recent data augmentations and observe a significant degradation in corruption robustness when the test-time corruptions are sampled to be perceptually dissimilar from ImageNet-C in this feature space. Our results suggest that test error can be improved by training on perceptually similar augmentations, and data augmentations may not generalize well beyond the existing benchmark. We hope our results and tools will allow for more robust progress towards improving robustness to image corruptions. We provide code at https://github.com/facebookresearch/augmentation-corruption.

研究の動機と目的

• 画像の劣化に対する頑健性にデータ拡張がどのように影響するかを理解する。
• 変換の知覚特徴空間を開発し、拡張-劣化の類似性を定量化する。
• Minimal Sample Distance (MSD) を腐敗 robustness に関連する距離測度として定義・検証する。
• 新しいベンチマークを用いて、類似していない劣化に対する拡張スキームの一般化を調査する。
• 頑健な拡張戦略を評価・設計するための実用的ガイドラインを提供する。

提案手法

• 変換をエンコードするために、事前学習済み分類器の最後の隠れ層を用いて知覚的変換特徴空間を作成する。
• Minimal Sample Distance (MSD) を、最も近い拡張サンプルと劣化分布の平均特徴量との距離として定義する。
• 拡張スキームの広範な集合（拡張の冪集合）と CIFAR-10-C / ImageNet-C 劣化との MSD を計算し、劣化エラーと相関させる。
• MSD を MMD と比較し、未見の劣化に対する頑健性予測には MSD が優れると主張する。
• 既存の拡張手法（AutoAugment, Patch Gaussian, AugMix など）を CIFAR-10-C および ImageNet-C に対して評価し、ImageNet-ar{C} と CIFAR-10-ar{C} を類似性の低いベンチマークとして導入する。
• 類似していない劣化に対する拡張性能の低下を分析して一般化を評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練時の拡張とテスト時の劣化との知覚的類似性は劣化エラーとどのように関連するか？
• RQ2 MSD は従来の分布距離指標（例：MMD）よりも劣化頑健性を予測できるか？
• RQ3 トランスフォーム特徴空間で類似性がある拡張スキームは、類似していない劣化へ一般化するか？

主な発見

• MSD は CIFAR-10-C 劣化全体で劣化エラーと強い相関を示し、多くの劣化でスピアマン相関が高い（例: 15 中 12 が >0.6）。
• MMD は特に広範な拡張では劣化エラーを安定して予測しない。
• 知覚的に類似した拡張は、トレーニングに同一の劣化が含まれていなくても、類似の劣化に対する頑健性を向上させ得る。
• 新しい劣化（ImageNet-ar{C} と CIFAR-10-ar{C}）、変換特徴空間での類似性が低いように選択された劣化は、いくつかの拡張手法の類似性のない労化での性能低下を明らかにし、一般化が限定的であることを示す。
• 広範な拡張手法（AutoAugment, AugMix, Stylized-ImageNet, DeepAugment）は、狭い手法より類似性のない劤化へ一般化する傾向がある。
• Even robust models not primarily augmentation-based do not show the same dissimilarity degradation pattern, suggesting the observed effects are tied to augmentation-based robustness.