[論文レビュー] Understanding the Limits of Unsupervised Domain Adaptation via Data Poisoning

Akshay Mehra, Bhavya Kailkhura+2 more|arXiv (Cornell University)|Jul 8, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿は、教師なしドメイン適応（UDA）におけるターゲットドメイン誤差の理論的下界を導出する。この下界は、ソース誤差とドメイン乖離を最小化しても、導入されるラベル関数の不一致のため、ターゲット一般化が保証されないことを明らかにする。著者らは、この脆弱性を利用したデータ汚染攻撃を提案し、わずか10%の汚染データでUDAの精度をほぼ0%まで低下させることに成功し、現在のUDA手法が敵対的データ分布に対していかに脆いかを示している。

ABSTRACT

Unsupervised domain adaptation (UDA) enables cross-domain learning without target domain labels by transferring knowledge from a labeled source domain whose distribution differs from that of the target. However, UDA is not always successful and several accounts of `negative transfer' have been reported in the literature. In this work, we prove a simple lower bound on the target domain error that complements the existing upper bound. Our bound shows the insufficiency of minimizing source domain error and marginal distribution mismatch for a guaranteed reduction in the target domain error, due to the possible increase of induced labeling function mismatch. This insufficiency is further illustrated through simple distributions for which the same UDA approach succeeds, fails, and may succeed or fail with an equal chance. Motivated from this, we propose novel data poisoning attacks to fool UDA methods into learning representations that produce large target domain errors. We evaluate the effect of these attacks on popular UDA methods using benchmark datasets where they have been previously shown to be successful. Our results show that poisoning can significantly decrease the target domain accuracy, dropping it to almost 0% in some cases, with the addition of only 10% poisoned data in the source domain. The failure of these UDA methods demonstrates their limitations at guaranteeing cross-domain generalization consistent with our lower bound. Thus, evaluating UDA methods in adversarial settings such as data poisoning provides a better sense of their robustness to data distributions unfavorable for UDA.

研究の動機と目的

• ソース誤差とドメイン乖離を最小化しても、ターゲットドメインへの一般化が保証されない根本的制限を特定すること。
• 表現写像によって誘導されるソースおよびターゲットラベル関数の不一致に依存する、ターゲットドメイン誤差の下界を形式化すること。
• 特にターゲットラベルが存在しない場合に、成功と失敗が同様に起こり得る状況において、UDA手法がデータ分布に対して極めて感受性であることを明らかにすること。
• この感受性を悪用する新たなデータ汚染攻撃を設計・評価し、わずかな量の敵対的データがUDA性能を著しく劣化させることを示すこと。
• 標準ベンチマークを越えて、不利なデータ分布に対する耐性をよりよく評価するため、UDA手法の敵対的評価を提唱すること。

提案手法

• 表現写像によってソースドメインとターゲットドメインに誘導されるラベル関数の乖離に依存する、ターゲットドメイン誤差の理論的下界を導出すること。
• 3つの異なるデータ分布ケースを分析する：有利（ラベル関数が一致）、不利（ラベル関数が不一致）、および曖昧（ターゲットラベルが存在しないため、成功と失敗が同様に起こり得る）。
• ターゲットドメインの表現に近づけるように最適化しながら、基本データポイントに近いまま敵対的サンプルを生成するクリーンラベル汚染攻撃を提案すること。
• UDAモデルが誤ったドメイン不変表現を学習するように誘導するため、汚染データを生成するための二段階最適化問題を定式化すること。
• 代表的なUDA手法を用いて、ベンチマークデータセット（例：MNIST → MNIST-M）に対して攻撃を評価し、汚染後のターゲット精度の低下を測定すること。
• 2段階攻撃パイプラインを用いる：まず式 (4) を用いて汚染データを生成し、次に汚染されたソースデータでUDAモデルを再訓練して性能劣化を評価すること。

実験結果

リサーチクエスチョン

• RQ1 UDAにおけるターゲットドメイン誤差の理論的下界を導出可能か？ これは、標準的な上界を超える失敗事例を説明できるか？
• RQ2 ソース誤差とドメイン乖離を最小化してもUDA手法が失敗する理由は何か？ その背後にある要因は何か？
• RQ3 ターゲットラベル情報が欠如している場合、成功と失敗が同様に起こり得るデータ分布の領域は存在するか？
• RQ4 ラベル関数の不一致を悪用するデータ汚染攻撃を設計可能か？ また、わずかな汚染データ量でUDAモデルに壊滅的障害を引き起こせるか？
• RQ5 汚染攻撃によって、実世界の不利な分布に対してUDA手法の真の耐性がどの程度露呈されるか？

主な発見

• 提案されたターゲットドメイン誤差の下界は、ソース誤差とドメイン乖離を最小化しても、誘導されるラベル関数の不一致のため、一般化が保証されないことを示している。
• ターゲットラベルが存在しない曖昧な状況では、わずかな汚染データが失敗に傾く分布にシフトさせ、著しい性能劣化を引き起こす可能性がある。
• MNIST → MNIST-M などのベンチマークデータセットにおいて、ソースドメインに10%の汚染データを挿入するだけで、UDAの精度がほぼ0%まで低下した。これは極めて脆弱であることを示している。
• ターゲットドメインデータをベースポイントとして使用するクリーンラベル汚染は、ソースドメインデータをベースポイントとする場合よりも顕著に効果的であり、特に小さな摂動制約下でも顕著である。
• 攻撃は、誤ったクラス同士をドメイン間で一致させること、または正しいクラスが表現空間で近づかないようにすることによって成功した。これにより、ターゲット誤差が直接的に増加した。
• 結果から、ベンチマークデータセットでの評価だけでは不十分であることが示唆され、不利なデータ分布に対する耐性を評価するには、データ汚染を用いた敵対的テストが不可欠である。