[論文レビュー] An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation

Ziquan Liu, Yi Xu+6 more|arXiv (Cornell University)|May 25, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、画像分類における分布シフトに対するロバストネスに、事前学習とデータ拡張が与える影響を包括的かつ実証的に調査する初の研究である。実験の結果、適切なデータ拡張を組み合わせた経験的リスク最小化（ERM）が、適切に選ばれた事前学習モデルと組み合わせることで、5つのベンチマークデータセットにおいて最先端の性能を達成することがわかった。一方、GroupDRO や CORAL といった特化型アルゴリズムは、特定のシフトタイプにおいてさらにロバストネスを向上させることができる。

ABSTRACT

The performance of machine learning models under distribution shift has been the focus of the community in recent years. Most of current methods have been proposed to improve the robustness to distribution shift from the algorithmic perspective, i.e., designing better training algorithms to help the generalization in shifted test distributions. This paper studies the distribution shift problem from the perspective of pre-training and data augmentation, two important factors in the practice of deep learning that have not been systematically investigated by existing work. By evaluating seven pre-trained models, including ResNets and ViT's with self-supervision and supervision mode, on five important distribution-shift datasets, from WILDS and DomainBed benchmarks, with five different learning algorithms, we provide the first comprehensive empirical study focusing on pre-training and data augmentation. With our empirical result obtained from 1,330 models, we provide the following main observations: 1) ERM combined with data augmentation can achieve state-of-the-art performance if we choose a proper pre-trained model respecting the data property; 2) specialized algorithms further improve the robustness on top of ERM when handling a specific type of distribution shift, e.g., GroupDRO for spurious correlation and CORAL for large-scale out-of-distribution data; 3) Comparing different pre-training modes, architectures and data sizes, we provide novel observations about pre-training on distribution shift, which sheds light on designing or selecting pre-training strategy for different kinds of distribution shifts. In summary, our empirical study provides a comprehensive baseline for a wide range of pre-training models fine-tuned with data augmentation, which potentially inspires research exploiting the power of pre-training and data augmentation in the future of distribution shift study.

研究の動機と目的

• 実世界のデータシフトを想定した分布シフト下における、事前学習とデータ拡張の影響を調査すること。
• 教師あり学習と自己教師あり学習の両方の事前学習モード、ResNet と ViT のアーキテクチャ、ImageNet-1k と ImageNet-21k のデータサイズが、下流の性能に与える影響を評価すること。
• ERM、GroupDRO、CORAL、およびデータ拡張技術の多様な組み合わせが、さまざまな分布シフトタイプに対してどれほど有効であるかを評価すること。
• 実務家が分布シフトのシナリオにおいてロバストネスを向上させるために、事前学習モデルとトレーニング戦略を選択するうえでの実用的知見とベストプラクティスを提供すること。

提案手法

• ImageNet-1k および ImageNet-21k を用いて、教師ありおよび自己教師ありの事前学習を施した7種類の事前学習モデル（ResNets および ViTs）を評価。
• WILDS および DomainBed に含まれる5つの分布シフトベンチマークデータセット（Waterbirds（誤った相関）、FMoW（部分集団シフト）、Camelyon、iWildCam、DomainNet（OOD一般化））に対して、モデルを微調整。
• 5つの学習アルゴリズム（ERM、GroupDRO、CORAL、および2種類のデータ拡張戦略：標準的な mixup とグループ対応 mixup）を適用。
• モデル、データセット、アルゴリズム、拡張法のすべての組み合わせを網羅し、合計1,330通りの独自なモデル設定をトレーニングおよび評価。
• 標準的な指標を用いて評価：重み付き正確率（WG Acc）、平均正確率（Avg. Acc）、OOD正確率、および ID・OOD一般化のマクロ F1 スコア。
• モデルアーキテクチャ、事前学習データサイズ、アルゴリズム選択の観点から性能のトレンドを分析し、ロバストネス向上のための設計原則を導出。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルの選択（アーキテクチャ、事前学習モード、データサイズ）が、さまざまなタイプの分布シフトに対するロバストネスにどのように影響を与えるか？
• RQ2 ERM にデータ拡張を組み合わせた場合、GroupDRO や CORAL といった特化型アルゴリズムを上回るか、あるいはそれを凌駆する性能を達成できるか、その程度は？
• RQ3 特に事前学習データが限られた場合に、自己教師あり学習と教師あり学習は、分布シフト下でどのように性能を発揮するか？
• RQ4 ERM、GroupDRO、CORAL、およびデータ拡張のうち、どの学習アルゴリズムが、さまざまなシフトタイプとデータセットスケールにおいて最も優れた性能を示すか？
• RQ5 実世界の分布シフトシナリオにおいて、ロバストネスを最大化するために、事前学習モデルとトレーニング戦略を選択するうえでの主要な設計原則は何か？

主な発見

• 適切に選ばれた事前学習モデルと組み合わせた ERM にデータ拡張を適用することで、5つの分布シフトデータセットすべてで最先端の性能が達成された。Waterbirds では最高92.6%、FMoW では94.1%のテスト正確率を記録。
• Waterbirds や Camelyon のような小規模データセットでは GroupDRO が他のアルゴリズムを上回り、91.4% および 90.6% の正確率を達成した。これは、限られたデータで誤った相関を効果的に処理できる点で、GroupDRO の強みを示している。
• iWildCam（36.0%） や DomainNet（44.2%） のような大規模データセットでは CORAL が強く、性能を発揮したが、小規模データセットでは特徴統計の推定が不安定になるため、性能が劣化した。
• Waterbirds、FMoW、Camelyon では ViT モデルが ResNet を上回った。特に ImageNet-21k で事前学習した場合に顕著で、これは微細なラベルが誤った相関の影響を軽減するのに寄与していると考えられる。
• 小規模データセット（IN-1k）では自己教師あり事前学習（例：MoCo-R50）が教師あり事前学習を上回ったが、大規模データセット（例：IN-21k）で教師あり事前学習を行うと、全体的により優れたロバストネスが得られた。
• ImageNet-21k などの大規模データセットで事前学習を実施することで、すべてのシフトタイプにおいて下流の性能が一貫して向上した。これは、大規模な事前学習が分布シフト一般化能力を高めることを裏付けている。