[論文レビュー] When does Bias Transfer in Transfer Learning?

Hadi Salman, Saachi Jain+4 more|arXiv (Cornell University)|Jul 6, 2022

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

この論文は、ImageNetのような事前学習済みソースモデルからのバイアスが、ターゲットデータセットが意図的にデバイアス化されていなくても、ダウンストリームタスクに転送されることを示している。合成バックドア攻撃と自然な誤った相関関係を用いて、微調整されたモデルがソースモデルのバイアスを保持していることを示し、転移学習におけるバイアスの除去がデータカスタマイズによって保証されるという仮定をくつがえしている。

ABSTRACT

Using transfer learning to adapt a pre-trained "source model" to a downstream "target task" can dramatically increase performance with seemingly no downside. In this work, we demonstrate that there can exist a downside after all: bias transfer, or the tendency for biases of the source model to persist even after adapting the model to the target class. Through a combination of synthetic and natural experiments, we show that bias transfer both (a) arises in realistic settings (such as when pre-training on ImageNet or other standard datasets) and (b) can occur even when the target dataset is explicitly de-biased. As transfer-learned models are increasingly deployed in the real world, our work highlights the importance of understanding the limitations of pre-trained source models. Code is available at https://github.com/MadryLab/bias-transfer

研究の動機と目的

• 事前学習済みソースモデルからのバイアスが微調整後もダウンストリームタスクに残存するかどうかを調査すること。
• ターゲットデータセットが誤った相関関係を除去するように意図的にデバイアス化されていても、バイアス転送が発生するかどうかを特定すること。
• トレーニングのダイナミクス、ソースデータセットの構成、ターゲットデータ分布がバイアス転送の程度に与える影響を評価すること。
• バイアス転送が合成バックドアに限定されず、自然に発生する特徴（例：年齢予測における性別）を介しても発生することを示すこと。
• 一般的に使用される転移学習パイプラインにおけるバイアス転送の現実世界への影響を強調すること、特に公開の事前学習済みモデルに依存する場合に特に重要である。

提案手法

• 特定の画像のサブセットにトリガー（例：黄色の円形）を追加し、ラベルを反転させることで、ソースデータセットにバイアスを植え付ける合成バックドア攻撃を用いる。
• ソースモデルの重みを初期化として用い、確率的勾配降下法（SGD）を用いてターゲットデータセット上でソースモデルを微調整する。
• ターゲットデータポイントのスパンに制限された勾配更新を通じてモデルの挙動を分析し、ターゲットデータ部分空間に直交するソースモデルバイアスを保持する。
• スプライスな相関関係（例：CelebAにおける性別と年齢）を強化する画像をフィルタリングすることで、自然にバイアスがかかるデータセットを構築し、そのバイアスの転送可能性をテストする。
• ターゲットデータセット（例：CIFAR-10）上でスクラッチから訓練したモデルと、バイアスがかかるImageNetソースモデルから微調整したモデルを比較し、バイアス転送の影響を隔離する。
• テスト画像にトリガー（例：テニスボール）を重ねて干渉し、予測分布の変化を測定することでバイアスを評価する。

実験結果

リサーチクエスチョン

• RQ1 ソースデータセットに植え付けたバイアスが、微調整中にターゲットタスクにどの程度転送されるか？
• RQ2 ターゲットデータセットが誤った相関関係を除去するように意図的にデバイアス化されていても、バイアス転送が発生するか？
• RQ3 トレーニングルーチン、ソースデータセットの構成、ターゲットデータセットの分布がバイアス転送の大きさに与える影響は何か？
• RQ4 合成トリガーに依存しない自然に発生する特徴を介したバイアス転送は発生するか？
• RQ5 ターゲットデータセットにそのようなバイアスが存在しない場合でも、標準的な事前学習済みモデル（例：ImageNet）からのバイアスがダウンストリームモデルで検出可能か？

主な発見

• ターゲットデータセットが意図的にデバイアス化されていても、バイアスがかかるソースモデルから微調整されたモデルは、誤った特徴に敏感なまま残存することが示された。
• ImageNetから微調整されたモデルは、トリガー（例：黄色の円形）が存在する際に予測分布が歪むが、CIFAR-10上でスクラッチから訓練したモデルは影響を受けない。
• ソースモデルが黄色の円形があると「テニスボール」と予測するバイアスが、ターゲットタスクに転送されており、微調整済みモデルの予測分布に顕著な歪みが見られた。
• 固定特徴微調整でも、ImageNetソースモデルのバイアスがダウンストリーム分類器に残存しており、特徴抽出段階でバイアスが除去されないことが示された。
• フルネットワーク微調整プロセスでも、ソースモデルのバイアスが保持されており、勾配更新がターゲットデータ部分空間に直交するバイアスを除去しないことが確認された。
• この現象は合成トリガーに限定されない：ImageNetで事前学習されたモデルは、自然に発生する相関関係（例：年齢予測における性別）に感受性を示し、それがダウンストリームタスクに転送される。