[論文レビュー] Understanding Zero-Shot Adversarial Robustness for Large-Scale Models

Chengzhi Mao, Scott Geng+3 more|arXiv (Cornell University)|Dec 14, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本稿では、CLIPなどの大規模なビジョン・ランゲージモデルにおけるゼロショット敵対的ロバストネスを向上させるために、テキスト誘導型対照的敵対的訓練損失（TeCoA）を提案する。適応段階で対照的学習を用いて敵対的視覚特徴と正しいテキスト埋め込みを一致させることで、ゼロショット一般化性能を損なわずにロバストネスを向上させる。CLIPと比較して15のデータセット全体で平均31ポイントの精度向上を達成した。

ABSTRACT

Pretrained large-scale vision-language models like CLIP have exhibited strong generalization over unseen tasks. Yet imperceptible adversarial perturbations can significantly reduce CLIP's performance on new tasks. In this work, we identify and explore the problem of \emph{adapting large-scale models for zero-shot adversarial robustness}. We first identify two key factors during model adaption -- training losses and adaptation methods -- that affect the model's zero-shot adversarial robustness. We then propose a text-guided contrastive adversarial training loss, which aligns the text embeddings and the adversarial visual features with contrastive learning on a small set of training data. We apply this training loss to two adaption methods, model finetuning and visual prompt tuning. We find that visual prompt tuning is more effective in the absence of texts, while finetuning wins in the existence of text guidance. Overall, our approach significantly improves the zero-shot adversarial robustness over CLIP, seeing an average improvement of over 31 points over ImageNet and 15 zero-shot datasets. We hope this work can shed light on understanding the zero-shot adversarial robustness of large-scale models.

研究の動機と目的

• CLIPのような大規模ビジョン・ランゲージモデルにおいて、標準的な敵対的訓練がゼロショット一般化性能を損なう中で、ゼロショット敵対的ロバストネスを達成する課題に対処すること。
• 訓練損失および適応手法がファウンデーションモデルにおけるゼロショット敵対的ロバストネスに与える影響を調査すること。
• CLIPのゼロショット能力を保持しつつ、目に見えない敵対的摂動に対して顕著にロバストな性能を向上させる手法を開発すること。
• ビジョン・ランゲージモデルにおけるゼロショット敵対的ロバストネスのための新しいベンチマークを確立すること。

提案手法

• 敵対的視覚特徴と正しいテキスト埋め込みの類似度を対照的学習を用いて最大化するテキスト誘導型対照的敵対的訓練損失（TeCoA）を提案する。
• TeCoAをモデルのファインチューニングおよびビジュアルプロンプトチューニング（VPT）の段階に適用し、フルモデルの再訓練なしにロバストネスを実現する。
• 少量のラベル付きデータを用いて敵対的例を生成し、その特徴を対照的損失を介して対応するテキスト埋め込みと一致させる。
• CLIPを用いてテキスト記述から擬似ラベルを取得することで、TeCoAをラベルなしデータに拡張し、大規模なラベルなしデータ上でロバストな訓練を可能にする。
• 二重最適化ループを採用する：まず対照的損失に対する勾配攻撃で敵対的例を生成し、次に勾配降下法でモデルパラメータを更新する。
• 画素単位のプロンプトよりも、トークンレベルのビジュアルプロンプトを用いて入力シーケンスに学習可能な埋め込みを組み込むことで、より効果的な性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングとビジュアルプロンプトチューニングといった異なる適応手法は、CLIPにおけるゼロショット敵対的ロバストネスにどのように影響を与えるか？
• RQ2 敵対的視覚特徴とテキスト埋め込みを一致させる対照的損失は、一般化性能を低下させることなくゼロショットロバストネスを向上させることができるか？
• RQ3 テキスト的誘導の有無が、敵対的適応の効果にどのように影響を与えるか？
• RQ4 TeCoAはラベルなしデータに効果的に適用可能か？最小限の監督でスケーラブルなロバストネス向上が可能か？

主な発見

• TeCoAはCLIPと比較して、15のゼロショットデータセット全体で平均31ポイントの敵対的ロバストネス向上を達成した。
• テキスト的誘導が存在しない状況では、ビジュアルプロンプトチューニング（VPT）がファインチューニングを上回り、より少ないパラメータで高いロバストネスを達成した。
• テキスト的誘導が利用可能な場合、TeCoAを用いたファインチューニングはVPTよりも高い向上を示した。これは、更新可能なパラメータがより多いからである。
• 本手法はCLIPの優れたゼロショット一般化性能を維持しつつ、顕著にロバストネスを向上させ、標準的な敵対的訓練で見られるトレードオフを回避した。
• TeCoAはHateMemesで54%、PCAMで52.5%の精度を達成し、ランダム推測に近い水準にとどまった。これは、分布外タスクにおけるドメインシフトの課題を示している。
• 本手法はラベルなしデータへも一般化可能であり、擬似ラベル作成に画像・テキスト類似度のみを用いることで、最小限の監督でロバストネス向上を実現した。