[論文レビュー] Overwriting Pretrained Bias with Finetuning Data

Angelina Wang, Olga Russakovsky|arXiv (Cornell University)|Mar 10, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

この論文は、事前学習モデルからのバイアスが微調整モデルにどのように伝播するかを調査し、スパurious相関やグループの過小表現を調整することで、微調整データセットを標的的に編集することにより、最小限のパフォーマンスコストで事前学習バイアスを効果的に上書きできることを示している。主な貢献は、大規模な事前学習モデルを変更するのではなく、微調整データの操作がバイアス軽減のための実用的で高いインパクトを持つ代替手段であるということである。

ABSTRACT

Transfer learning is beneficial by allowing the expressive features of models pretrained on large-scale datasets to be finetuned for the target task of smaller, more domain-specific datasets. However, there is a concern that these pretrained models may come with their own biases which would propagate into the finetuned model. In this work, we investigate bias when conceptualized as both spurious correlations between the target task and a sensitive attribute as well as underrepresentation of a particular group in the dataset. Under both notions of bias, we find that (1) models finetuned on top of pretrained models can indeed inherit their biases, but (2) this bias can be corrected for through relatively minor interventions to the finetuning dataset, and often with a negligible impact to performance. Our findings imply that careful curation of the finetuning dataset is important for reducing biases on a downstream task, and doing so can even compensate for bias in the pretrained model.

研究の動機と目的

• 事前学習モデルからのバイアスがコンピュータビジョンタスクにおける微調整モデルに伝播するかどうかを調査すること。
• 微調整モデルのバイアスが、微調整データセットの意図的な編集によって是正可能かどうかを評価すること。
• 特に事前学習モデルが本質的にバイアスを含む場合に、そのような編集がバイアス低減を実現しつつ高いパフォーマンスを維持できるかどうかを特定すること。
• 大規模な事前学習データセットを変更するのではなく、微調整データセットを介入のより実用的で効果的なポイントとして位置づけること。
• 実務家が下流タスクにおけるパフォーマンスと公平性のバランスをどのようにとるべきかについての実用的知見を提供すること。

提案手法

• バイアスの2つの操作的定義を用いる：感受性属性とターゲットタスクとの間のスパurious相関、およびデータセット内でのグループの過小表現。
• スパurious相関の場合、微調整データ内の相関強度を操作する（例：20% から 30% に変更）ことで、バイアスとパフォーマンスへの影響を評価する。
• 過小表現の場合、微調整データセットにおける過小表現グループの正例の割合を調整し、バイアス是正を試みる。
• MoCo、SimCLR、およびカスタムモデルを含むさまざまな事前学習モデルを用いて、CelebA、COCO、Dollar Street データセットで実験を実施する。
• すべてのモデルは完全に微調整される（フリーズされない）ものとし、バイアスは公平性指標を用いて測定され、下流タスクでのパフォーマンスが評価される。
• アーキテクチャ的・損失関数的変更を避けて、データセットレベルの干渉に焦点を当て、実用性とスケーラビリティを重視する。

Figure 1: We explore bias transference from pretrained to finetuned models in two forms in this work: spurious correlations and underrepresentation. We find that intervening on the finetuning data allows us to overcome bias from pretraining, often without compromising on performance.

実験結果

リサーチクエスチョン

• RQ1 スパurious相関の下で、事前学習モデルのバイアスが微調整モデルにどの程度伝播するか？
• RQ2 微調整データ内の相関強度を調整することで、パフォーマンスを劣化させずにバイアスを低減できるか？
• RQ3 微調整データのクラス分布を変更することで、過小表現バイアスをどの程度効果的に是正できるか？
• RQ4 実用性とパフォーマンス保持の観点から、微調整データの編集が他のバイアス軽減戦略を上回るか？
• RQ5 テストセットに存在するバイアスに対抗するために、意図的に微調整データを過剰に是正できるか？

主な発見

• 事前学習モデルにバイアスがある場合、特にスパurious相関が強く顕著で、かつ微調整データが限られている場合には、微調整モデルがそのバイアスを引き継ぐ。
• 微調整データ内のスパurious相関強度を20%から30%に増加させることで、バイアスはほぼ半減したが、パフォーマンスは高い水準を維持した。
• 微調整データセットにおける過小表現グループの割合を調整することで、過小表現バイアスを効果的に是正でき、パフォーマンスへの影響は最小限に抑えられた。
• 微調整データセットは、バイアス軽減のための極めて効果的な干渉ポイントであり、事前学習データを変更する試みを上回ることが多い。
• 事前学習モデルがバイアスを含んでも、慎重な微調整データの編集により、高いパフォーマンスと公平性を同時に達成できる。
• これらの結果から、特に事前学習データが変更できない状況では、公平性が重要な応用分野において、データセットの編集を優先すべきであると示唆される。

Figure 2: Across 11 CelebA attributes, the FPR difference between Women and Men of each model finetuned on a different base. The attributes are sorted by the ratio of the FPR difference between the Gendered model and highest Control model. The dotted line indicates the cutoff between the seven attri