[論文レビュー] A Fine-Grained Analysis on Distribution Shift

Olivia Wiles, Sven Gowal+5 more|arXiv (Cornell University)|Oct 21, 2021

Machine Learning and Data Classification参考文献 83被引用数 4

ひとこと要約

本論文は、機械学習における分布シフトに対する耐性を体系的に評価する細分化されたフレームワークを導入し、合成データおよび実世界のデータセットにおいて、誤った相関、低データドリフト、未知のデータシフトといった制御された分布シフトの下で19の手法を分析している。その結果、標準的なERMに比べてデータ拡張と事前学習が顕著な向上をもたらすが、すべてのシフトとデータセットにおいて一貫して優れた性能を示す単一の手法は存在しないことが判明した。

ABSTRACT

Robustness to distribution shifts is critical for deploying machine learning models in the real world. Despite this necessity, there has been little work in defining the underlying mechanisms that cause these shifts and evaluating the robustness of algorithms across multiple, different distribution shifts. To this end, we introduce a framework that enables fine-grained analysis of various distribution shifts. We provide a holistic analysis of current state-of-the-art methods by evaluating 19 distinct methods grouped into five categories across both synthetic and real-world datasets. Overall, we train more than 85K models. Our experimental framework can be easily extended to include new methods, shifts, and datasets. We find, unlike previous work~\citep{Gulrajani20}, that progress has been made over a standard ERM baseline; in particular, pretraining and augmentations (learned or heuristic) offer large gains in many cases. However, the best methods are not consistent over different datasets and shifts.

研究の動機と目的

• 実世界の機械学習応用における分布シフトに対する耐性を評価する原則的で細分化されたフレームワークを確立すること。
• 複数の明確に異なる分布シフトおよび実世界を想起させる条件下で、最先端の手法を体系的に評価すること。
• 特に複雑で現実的な設定において、標準的なERMを超えた進歩が達成されたかどうかを特定すること。
• 将来的な耐性および一般化に関する研究のための拡張可能な評価プラットフォームを提供すること。

提案手法

• フレームワークは、タスクとは独立した属性（例：色、形状）の変化を分布シフトとして定義し、不変性の制御された評価を可能にする。
• 3つのコアな分布シフトが形式化されている：誤った相関（例：色を誤った手がかりとして使用）、低データドリフト（希少な属性の組み合わせ）、未知のデータシフト（完全に新しい属性分布）。
• 追加の評価条件として、人間のレーティングエラーを模擬するラベルノイズと、データ効率を評価するための訓練セットサイズの変動が含まれる。
• 19の手法が5つのカテゴリーに分類して評価されている：アーキテクチャ選択、データ拡張、ドメイン一般化、適応的アルゴリズム、表現学習。
• ハイパーパramータースイープ（学習率、重み減衰、その他の主要パrameter）を伴い、合成データセット（制御された属性変動あり）および実世界のデータセット（Camelyon17、iWildCam）でモデルをトレーニングしている。
• 5つのランダムシードごとに合計85,000体以上のモデルをトレーニングし、各シードで最も性能の良かったモデルを分布外一般化の評価に使用している。

実験結果

リサーチクエスチョン

• RQ1 実世界のシナリオにおいて、どの分布シフトがモデルの一般化性能を最も著しく低下させるか。また、それらはどのように体系的に分離・評価可能か。
• RQ2 現代のドメイン一般化および耐性学習手法は、多様な分布シフトとデータセットにおいて、常に標準的なERMを上回る性能を示すのか。
• RQ3 より複雑なドメイン一般化アルゴリズムに比べ、データ拡張と事前学習はどの程度耐性を向上させるか。
• RQ4 ラベルノイズと訓練セットサイズは、さまざまな学習手法の耐性にどのように影響するか。
• RQ5 すべての種類の分布シフトに普遍的に適応する単一の手法やアプローチが存在するのか。それとも、性能は特定のシフトとデータセットに強く依存するのか。

主な発見

• 事前学習とデータ拡張（ヒューリスティックまたは学習されたものにかかわらず）は、複数の分布シフトとデータセットにおいて、標準的なERMに比べて顕著な向上をもたらす。
• ドメイン一般化手法は特定の状況では効果を示すが、一貫して優れているわけではないため、その有効性はシフトとデータセットの性質に強く依存する。
• すべての分布シフトとデータセットにおいて最良のパフォーマンスを達成する単一の手法は存在せず、これは普遍的な耐性ソリューションの欠如を示している。
• フレームワークは、ある属性の分布（例：色）でトレーニングされたモデルが、未観測の分布や希少な組み合わせに一般化できないことを的確に特定した。これは、タスクが不変であっても同様に成り立つ。
• パフォーマンスはシフトの種類に極めて敏感である：誤った相関と低データドリフトは特に挑戦的であり、ラベルノイズと組み合わさるとさらに困難になる。
• 評価フレームワークは拡張可能であり、多様な手法、シフト、データセット間の直接比較を可能にし、将来的な耐性研究のスケーラブルなベンチマークを提供している。