[論文レビュー] Poisoning and Backdooring Contrastive Learning

Nicholas Carlini, Andreas Terzis|arXiv (Cornell University)|Jun 17, 2021

Adversarial Robustness in Machine Learning参考文献 40被引用数 19

ひとこと要約

この論文は、未精査のインターネットスクリーピングデータセットで学習されたマルチモーダル対照学習モデル（例：CLIP）が、汚染およびバックドア攻撃に対して極めて脆弱であることを示している。300枚（300万枚のデータセットで0.01%）の汚染データを注入するだけで、攻撃者は小さなパッチをトリガーとして用いて誤分類を引き起こすことができ、標的攻撃では最小で0.0001%のデータで十分である。これは自己教師あり学習における深刻なセキュリティリスクを露呈している。

ABSTRACT

Multimodal contrastive learning methods like CLIP train on noisy and uncurated training datasets. This is cheaper than labeling datasets manually, and even improves out-of-distribution robustness. We show that this practice makes backdoor and poisoning attacks a significant threat. By poisoning just 0.01% of a dataset (e.g., just 300 images of the 3 million-example Conceptual Captions dataset), we can cause the model to misclassify test images by overlaying a small patch. Targeted poisoning attacks, whereby the model misclassifies a particular test input with an adversarially-desired label, are even easier requiring control of 0.0001% of the dataset (e.g., just three out of the 3 million images). Our attacks call into question whether training on noisy and uncurated Internet scrapes is desirable.

研究の動機と目的

• 未精査のインターネットスクリーピングデータセットで学習されたマルチモーダル対照学習モデルに対する汚染およびバックドア攻撃の実現可能性を調査すること。
• 対照学習においてノイズが多く、未精査のデータが使用されることで、重大なセキュリティ脆弱性が生じるかどうかを評価すること。
• 教師あり学習に比べてはるかに少ないデータ汚染量（桁違いに少ない）でも、モデルの挙動を効果的に操作できることを実証すること。
• 自己教師あり学習および対照学習システムにおけるデータ汚染に対する自動防御の開発を促すこと。

提案手法

• 対照学習の枠組みに適応された、既存の汚染およびバックドア攻撃技術を用い、モデルが正例対と負例対を対比することで学習するプロセスを模倣した。
• 各例に、小さな見えないパッチ（例：16×16のチェッカーパatters）をトリガーとして埋め込んだ汚染例をトレーニングデータセットに挿入した。
• 攻撃設定の多様性を評価するため、パッチの配置を一貫的またはランダムに設定した。
• 標準的なトレーニングパイプラインを用いて、Conceptual Captions や YFCC といった大規模データセットの汚染版を用いて、対照モデル（例：CLIP）を学習した。
• クリーンな入力に対するモデルの性能を評価し、バックドアおよび標的汚染状況下での誤分類率をテストした。
• 既存のオープンソースのCLIPトレーニングツールを活用し、トレーニングプロセスに最小限の変更を加えることで攻撃を再現した。

実験結果

リサーチクエスチョン

• RQ1 未精査のインターネットスクリーピングデータセットで学習された対照学習モデルに対して、バックドア攻撃を効果的に実行できるか？
• RQ2 対照モデルの挙動を操作するために、どの程度のデータ汚染が必要か？
• RQ3 対照学習におけるノイズが多く未精査のデータの使用が、データ汚染攻撃の実現可能性および影響を高めるか？
• RQ4 手動でのデータ精査が行われない状況でも、最小限のデータ注入で標的汚染攻撃を実行できるか？
• RQ5 これらの攻撃が、実世界での自己教師ありモデルの信頼性にどのような影響を及えるか？

主な発見

• 対照モデルに対するバックドア攻撃では、トレーニングデータの0.01%が汚染されれば十分であり、教師あり学習で一般的に必要な1%よりもはるかに少ない。
• 標的汚染攻撃では、最小でデータセットの0.0001%が汚染されても成功するため、データ注入の効率が極めて高い。
• 手動でのレビューが行われない未精査のインターネットスクリーピングデータでも、攻撃は効果的である。
• クリーンなテストデータに対しては高い精度を維持している一方で、トリガー・パッチを含む入力に対しては高い誤分類率を示している。
• 標準的なCLIPトレーニングツールを用いて、アーキテクチャ的・アルゴリズム的変更なしに攻撃が実用的かつ再現可能である。
• これらの発見は、未精査データで学習された対照学習モデルのセキュリティが根本的に損なわれており、新たな防御メカニズムの開発が不可欠であることを示唆している。