[論文レビュー] The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization

Dan Hendrycks, Steven Basart+11 more|arXiv (Cornell University)|Jun 29, 2020

Advanced Image Processing Techniques被引用数 21

ひとこと要約

本論文は、分布シフトの現実世界における評価を厳密に行うために、4つの新しい実世界の分布シフトデータセット—ImageNet-Renditions、DeepFashion Remixed、StreetView StoreFronts、Real Blurry Images—を導入する。大規模なモデルとデータ拡張、特にDeepAugmentが、現実世界の分布シフトにおいて顕著に性能を向上させることを示し、従来の主張である「合成ベンチマークは一般化しない」という仮説に反する。また、有効な拡張手法を用いることで、1000倍のデータで事前学習されたモデルを上回る性能を達成できることが示された。

ABSTRACT

We introduce four new real-world distribution shift datasets consisting of changes in image style, image blurriness, geographic location, camera operation, and more. With our new datasets, we take stock of previously proposed methods for improving out-of-distribution robustness and put them to the test. We find that using larger models and artificial data augmentations can improve robustness on real-world distribution shifts, contrary to claims in prior work. We find improvements in artificial robustness benchmarks can transfer to real-world distribution shifts, contrary to claims in prior work. Motivated by our observation that data augmentations can help with real-world distribution shifts, we also introduce a new data augmentation method which advances the state-of-the-art and outperforms models pretrained with 1000 times more labeled data. Overall we find that some methods consistently help with distribution shifts in texture and local image statistics, but these methods do not help with some other distribution shifts like geographic changes. Our results show that future research must study multiple distribution shifts simultaneously, as we demonstrate that no evaluated method consistently improves robustness.

研究の動機と目的

• ロバストネス研究における合意形成の欠如と標準化された評価の不足に応えるために、多様で実世界の分布シフトベンチマークを導入すること。
• 大規模なモデル、自己注意機構、データ拡張、事前学習といった既存のロバストネス手法が、現実的な分布シフトに対してどの程度有効であるかを検証すること。
• 従来の主張である「合成ロバストネスベンチマークは現実世界のシフトに一般化しない」という仮説に反すること。
• データ拡張、特にDeepAugmentが、現実世界のロバストネスにおいて極めて有効であることを示し、膨大な量のラベル付きデータで事前学習されたモデルを凌駕できることを示すこと。

提案手法

• ImageNet-Renditionsを導入し、ImageNetのクラスをアート的な表現（例：絵画、刺繍）で再現した30,000枚の画像テストセットを提供することで、スタイルやテクスチャのシフトに対するロバストネスを評価する。
• DeepFashion2のメタデータを用いて、露出、サイズ、視点、ズームのシフトを制御したDeepFashion Remixedを構築し、分布シフトの分離評価を可能にする。
• 実際のGoogle StreetViewの画像と、場所、年、カメラシステムのメタデータを用いて、StreetView StoreFrontsを開発し、地理的および時間的分布シフトを評価する。
• 自然にぼやけた画像1,000枚を含むReal Blurry Imagesを構築し、現実世界のぼやけ具合に対するロバストネスを評価する。これは、合成されたImageNet-Cの汚損と対照的である。
• 画像対画像のニューラルネットワークを用いて多様で現実的な拡張を生成する、DeepAugmentというデータ拡張手法を提案し、ロバストネスを向上させる。
• 4つのロバストネス手法—大規模なモデル、自己注意機構、多様なデータ拡張、事前学習—を、すべての新規および既存のベンチマークで評価し、一般化性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 従来の懸念とは対照的に、合成データ拡張技術は現実世界の分布シフトにおいてロバストネスを向上させるのか？
• RQ2 大規模なモデルと事前学習は、多様な現実世界の分布シフトにおいて一貫してロバストネスを向上させるのか？
• RQ3 合成ベンチマークでのロバストネス向上が、現実世界で自然に発生する分布シフトにどの程度一般化されるのか？
• RQ4 特にDeepAugmentを用いたデータ拡張は、はるかに大きなラベル付きデータセットで事前学習されたモデルを上回るのか？
• RQ5 地理的またはカメラベースの変化といった分布シフトにおいて、現在のロバストネス手法が一般化しないことがあるのか？

主な発見

• データ拡張、特にDeepAugmentは、ImageNet-Rおよび現実世界のぼやけ具合においてロバストネスを向上させ、合成ロバストネス介入が現実世界のシフトに一般化可能であることを示した。
• DeepAugmentで訓練されたモデルは、1000倍のラベル付きデータで事前学習されたモデルを上回る性能を示し、有効なデータ拡張の力の大きさを示した。
• 大規模なモデルと多様なデータ拡張は、テクスチャや局所統計のシフトに対して一貫してロバストネスを向上させるが、地理的またはカメラベースのシフトに対してはそうではない。
• ImageNet-Cにおける合成汚損と現実世界のぼやけ具合の間に相関関係があることが判明し、それらが現実の分布シフトを代表していないという従来の推測に反する。
• すべての分布シフトにおいて一貫してロバストネスを向上させる手法は存在せず、今後のロバストネス研究において複数のシフトを同時に評価する必要があることを示唆している。
• テクスチャバイアス仮説が強化された。テクスチャのシフトに対してロバストネスを向上させる手法は、ImageNet-Rでも性能向上をもたらし、モデルが依然としてテクスチャの手がかりに敏感であることを示唆している。