[論文レビュー] On the Connection between Pre-training Data Diversity and Fine-tuning Robustness

Vivek Ramanujan, Thao D. Nguyen+3 more|arXiv (Cornell University)|Jul 24, 2023

Machine Learning and Data ClassificationComputer Science被引用数 3

ひとこと要約

本稿では、事前学習データの多様性が微調整のロバスト性に与える影響を調査し、データ量とラベルの粒度が分布シフトに対する堅牢な一般化の主な要因であることが判明した。iWildCam-WILDSをベンチマークとして用い、事前学習データ量を増やすことでロバスト性が顕著に向上する一方、データ量を一定に保つと、ラベルの意味的性質、画像の多様性、データソースの影響は最小限にとどまる。

ABSTRACT

Pre-training has been widely adopted in deep learning to improve model performance, especially when the training data for a target task is limited. In our work, we seek to understand the implications of this training strategy on the generalization properties of downstream models. More specifically, we ask the following question: how do properties of the pre-training distribution affect the robustness of a fine-tuned model? The properties we explore include the label space, label semantics, image diversity, data domains, and data quantity of the pre-training distribution. We find that the primary factor influencing downstream effective robustness (Taori et al., 2020) is data quantity, while other factors have limited significance. For example, reducing the number of ImageNet pre-training classes by 4x while increasing the number of images per class by 4x (that is, keeping total data quantity fixed) does not impact the robustness of fine-tuned models. We demonstrate our findings on pre-training distributions drawn from various natural and synthetic data sources, primarily using the iWildCam-WILDS distribution shift as a test for downstream robustness.

研究の動機と目的

• 事前学習データの特性が自然な分布シフト下での下流モデルのロバスト性にどのように影響するかを理解すること。
• データ量、ラベルの粒度、ラベルの意味的性質、画像の多様性、データソースの各要因が微調整モデルのパフォーマンスに与える影響を分離して評価すること。
• 事前学習データ量を制御した場合に、合成データまたは自然データのどちらが同等のロバスト性向上をもたらすかを評価すること。
• ロバストネス一般化が、データ分布の特性に起因するのか、モデルアーキテクチャーや学習手法に起因するのかを特定すること。
• 現実世界の分布シフトに強いロバスト性を向上させるために、効果的な事前学習データセットを構築するためのデータ中心のガイドラインを提供すること。

提案手法

• ImageNet、iNaturalist、および合成データ（例：フラクタル画像、Stable Diffusionで生成された画像）の制御されたサブセット上で、1つの特性を変化させながら他の要因を一定に保ち、視覚モデルを事前学習する。
• すべてのモデルをiWildCam-WILDSデータセット上で微調整し、自然な分布シフトのベンチマークとして使用し、分布外（OOD）スプリットにおけるF1スコアを用いてロバストネスを評価する。
• 5つの軸（データ量、ラベル粒度（粗い vs. 細かい）、ラベル意味的性質（動物 vs. 非生物クラス）、画像多様性（クラス内サブクラス変動）、データソース（ImageNet、iNaturalist、合成データ））を体系的にアブレーションする。
• YFCC-15M および LAION-15M で事前学習された自己教師付きCLIPモデルを用い、異なる事前学習目的とデータスケールでも結果の妥当性を検証する。
• 学習から再開する場合とImageNetで事前学習した場合を比較し、データ量の関数としてのロバストネスのベースライン線形トレンドを確立する。
• 複数のモデルアーキテクチャと事前学習手法を用いて結果を分析し、発見の一般化可能性を評価する。

Figure 1 : A summary of our experimental pipeline. We pre-train a model on a variety of different data distributions and evaluate its effective robustness after fine-tuning on a downstream task (i.e., iWildCam). By examining many models in this manner, we can determine empirical properties of the pr

実験結果

リサーチクエスチョン

• RQ1 事前学習データ量が、分布シフトを伴う下流タスクにおける微調整モデルのロバストネスにどのように影響するか？
• RQ2 データ量を一定に保った状態で、ラベル粒度（粗い vs. 細かい）が下流のロバストネスに与える影響はどの程度か？
• RQ3 事前学習クラスの意味的類似性（例：動物 vs. 非生物的対象）が、下流タスクへの転移ロバストネスに影響を与えるか？
• RQ4 クラス内画像多様性（例：より多くのサブクラスを含める）を高めると、微調整モデルのロバストネスにどのような影響を与えるか？
• RQ5 事前学習データ量を一定に保った場合、合成データソース（フラクタルまたはStable Diffusionで生成された画像）は、自然データと同等のロバストネスを達成できるか？

主な発見

• より多くのデータで事前学習すると、下流のロバストネスが顕著に向上し、ImageNet や iNaturalist から25K枚の画像（微調整データセットの6倍小さい）を用いても、顕著なロバストネス向上が得られる。
• ラベル粒度を1000クラスから5クラスに減らすと、ロバストネスに顕著な悪影響が生じるが、データ量を減らす影響ほど深刻ではない。
• ImageNetで600の非生物的対象カテゴリで事前学習しても、400の動物カテゴリで事前学習した場合と同等の有効なロバストネスが得られる。これは、下流タスクが動物に焦点を当てているにもかかわらず同様の結果を示す。
• データ量とラベルセットを一定に保った状態で、クラス内画像多様性（例：より多くのサブクラスを含める）を高めても、微調整モデルのロバストネスに顕著な影響はない。
• 総データ量を一定に保った場合、クラス数を増やすか、1クラスあたりの画像数を増やすかのトレードオフは無視できるほど小さい。これは、データ量がクラス多様性を上回って支配的であることを示している。
• 合成フラクタルデータは、同じデータ量で自然データより効果が低いが、Stable Diffusionで生成された画像はそのギャップを顕著に縮め、データ量が多い場合には自然データと同等の性能を示す。

Figure 2 : Effective robustness is defined as movement towards a classifier which is robust to distribution shift (i.e., line $y=x$ ). Using this metric, Miller et al. [ 26 ] observes that for the iWildCam-WILDS task, models pre-trained on ImageNet are much more robust than models trained from scrat