[論文レビュー] Indiscriminate Poisoning Attacks on Unsupervised Contrastive Learning

Hao He, Kaiwen Zha+1 more|arXiv (Cornell University)|Feb 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、非教師付き対照学習（CL）を標的とする、最初の効果的な無差別的データポisons攻撃である対照的ポisons（CP）を紹介する。CPは、対照損失、データ拡張、モーメンタムエンコーダのダイナミクスを活用することで、CLの性能を著しく低下させ、教師あり学習に対しても一般化し、CLの相対的な耐性の高さと、行列補完に基づく拡張による新たな防御の必要性を明らかにする。

ABSTRACT

Indiscriminate data poisoning attacks are quite effective against supervised learning. However, not much is known about their impact on unsupervised contrastive learning (CL). This paper is the first to consider indiscriminate poisoning attacks of contrastive learning. We propose Contrastive Poisoning (CP), the first effective such attack on CL. We empirically show that Contrastive Poisoning, not only drastically reduces the performance of CL algorithms, but also attacks supervised learning models, making it the most generalizable indiscriminate poisoning attack. We also show that CL algorithms with a momentum encoder are more robust to indiscriminate poisoning, and propose a new countermeasure based on matrix completion. Code is available at: https://github.com/kaiwenzha/contrastive-poisoning.

研究の動機と目的

• 非教師付き対照学習（CL）が無差別的データポisons攻撃に対してどれほど脆弱であるかを調査すること。
• 従来の教師あり学習向け攻撃では効果を発揮しないが、CLに対して有効な新たなポisons手法を開発すること。
• モーメンタムエンコーダを搭載したCLモデルの耐性を評価し、標準CLと比較してその利点を同定すること。
• ポisonsに対する既存の防御を評価し、行列補完に基づくより効果的な防御機構を提案すること。

提案手法

• 対照学習の目的関数、特にInfoNCE損失を直接標的にするポーション生成プロセスを設計し、表現学習を誤導すること。
• CLにおけるデータ拡張を考慮した微分手続きを導入し、拡張されたビュー全体にわたりポーションの有効性を保証すること。
• モーメンタムエンコーダ（例：MoCo、BYOL）を搭載したCLモデルを効果的にポーション化するための二重ブランチ勾配伝播方式を実装すること。
• 異なるCLアーキテクチャにわたる転送性を向上させるために、モーメンタムエンコーダを用いてポーションを生成すること。
• 標準的なデータ拡張（ランダムノイズ、ガウススムージング、カットアウト）を用いて防御を評価し、新しい行列補完に基づく拡張を提案すること。
• 欠損ピクセルを再構築するために、ユニバーサル特異値しきい値（USVT）を用いた行列補完を実施すること。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習で効果を発揮する無差別的ポーション攻撃が、非教師付き対照学習モデルに対しても性能を著しく低下させることができるか？
• RQ2 CLが教師あり学習よりも無差別的ポーション攻撃に対してより耐性を持つ理由となる、アーキテクチャ的および訓練的差異は何か？
• RQ3 CLにおけるモーメンタムエンコーダの使用が、ポーション攻撃に対する脆弱性にどのように影響するか？
• RQ4 1つのCLモデル用に生成されたポーションが、他のCLモデルおよび教師あり学習モデルに対しても効果的に攻撃できるか？
• RQ5 行列補完に基づくデータ拡張は、標準的な拡張手法よりも対照的ポーション攻撃に対する防御においてより効果的か？

主な発見

• SimCLR、MoCo、BYOLなどの対照学習モデルは、従来の教師あり学習向けに設計された無差別的ポーション攻撃に対して極めて耐性が高く、強いポーション攻撃下でも高い精度を維持する。
• 対照的ポーション（CP）は、SimCLRでは44.9%のテスト精度低下、MoCoではCP(S)およびCP(C)攻撃でそれぞれ68.9%の低下をもたらし、その有効性を実証した。
• モーメンタムエンコーダを搭載したモデル（MoCo、BYOL）は、それらを搭載しないモデル（SimCLR）よりも顕著に耐性が高く、CPによる性能低下も小さい。
• 行列補完に基づく防御は、攻撃全体で平均86.9%の精度を達成し、敵対的訓練（80.8%）や他の拡張手法を上回った。
• 敵対的訓練は、教師あり学習向けポーション攻撃に対しては有効であるが、CPに対しては防御に失敗し、CLにおける新たな防御戦略の必要性を浮き彫りにした。
• クラスごとのポーションは、サンプルごとのポーションよりもデータ拡張防御に対してより耐性が高く、後者はこのような防御に対して極めて感受性が強い。