[論文レビュー] Enhance the Visual Representation via Discrete Adversarial Training

Xiaofeng Mao, Yuefeng Chen+7 more|arXiv (Cornell University)|Sep 16, 2022

Digital Media Forensic Detection被引用数 10

ひとこと要約

本稿では、VQGANを用いて画像を記号的視覚語彙に離散化し、その離散表現上で敵対的訓練を適用する、新しい手法である離散的敵対的訓練（DAT）を提案する。DATは、クリーンな精度を維持したまま、ImageNet-Cで31.40 mCE、Stylized-ImageNetで32.77%のトップ1精度を達成し、最先端のロバスト性を実現する。これは、離散トークン上でストレートスラッシュ勾配推定を用いることで、より分布に近い敵対的例を生成するためであり、標準的な敵対的訓練に比べて性能が優れている。

ABSTRACT

Adversarial Training (AT), which is commonly accepted as one of the most effective approaches defending against adversarial examples, can largely harm the standard performance, thus has limited usefulness on industrial-scale production and applications. Surprisingly, this phenomenon is totally opposite in Natural Language Processing (NLP) task, where AT can even benefit for generalization. We notice the merit of AT in NLP tasks could derive from the discrete and symbolic input space. For borrowing the advantage from NLP-style AT, we propose Discrete Adversarial Training (DAT). DAT leverages VQGAN to reform the image data to discrete text-like inputs, i.e. visual words. Then it minimizes the maximal risk on such discrete images with symbolic adversarial perturbations. We further give an explanation from the perspective of distribution to demonstrate the effectiveness of DAT. As a plug-and-play technique for enhancing the visual representation, DAT achieves significant improvement on multiple tasks including image classification, object detection and self-supervised learning. Especially, the model pre-trained with Masked Auto-Encoding (MAE) and fine-tuned by our DAT without extra data can get 31.40 mCE on ImageNet-C and 32.77% top-1 accuracy on Stylized-ImageNet, building the new state-of-the-art. The code will be available at https://github.com/alibaba/easyrobust.

研究の動機と目的

• 敵対的訓練におけるロバスト性と通常精度のトレードオフを解消すること。これは、一般的にクリーンな性能を低下させるためである。
• 自然言語処理（NLP）における離散的・記号的入力がもたらす一般化の利点が、コンピュータビジョンに応用可能かどうかを調査すること。
• アーキテクチャの変更なしに、複数のビジョンタスクで視覚的表現学習を強化できる、即挿し可能な手法を開発すること。
• $l_p$-有界および制限のない意味的敵対的攻撃に対するロバスト性を向上させること。具体的には、より現実的で分布に近い敵対的例を生成することで実現する。
• 離散的敵対的訓練が、ロバストな画像分類および自己教師付き学習において、最先端の性能を達成できることを示すこと。

提案手法

• 事前学習済みのVQGANベースのコードブックを用いて、連続的な画像入力を記号的視覚語彙に離散化し、自然言語トークンに類似した離散インデックスの系列に変換する。
• 離散表現空間上で敵対的訓練を適用する。具体的には、離散インデックスに対して1ステップの勾配上昇により敵対的例を生成し、ストレートスラッシュ勾配推定器を用いて離散ボトルネックを介して逆伝播を可能にする。
• 微分可能なストレートスラッシュ近似を用いて、離散表現から元の画像空間への勾配伝播を可能にし、エンドツーエンドの学習を可能にする。
• 視覚モデルをクリーン画像および生成された離散的敵対的例の両方で訓練し、これらの摂動を加えた離散入力における最大リスクを最小化する。
• 離散的敵対的例がクリーンデータと分布的に近いことを利用し、分布解析の結果に基づいて一般化とロバスト性を向上させる。
• マスクされた自己符号化（MAE）などの事前学習手法と組み合わせることで、追加データなしにSOTA性能を達成する強力な初期化を実現する。

実験結果

リサーチクエスチョン

• RQ1 離散的・記号的表現を活用することで、NLP風の敵対的訓練の一般化利点をビジョンモデルに移転可能か？
• RQ2 連続的なピxlsではなく離散的視覚トークン上で敵対的訓練を適用することで、標準的な敵対的訓練に比べてロバスト性および一般化性能が向上するか？
• RQ3 離散化器の品質（例：FID、コードブックサイズ）が離散的敵対的訓練の性能に与える影響は？
• RQ4 DATは、$l_p$-有界攻撃（例：FGSM）および制限のない意味的攻撃（例：AdvDrop、PerC-Adversarial）の両方に対してロバスト性を向上させられるか？
• RQ5 DATは、分類、検出、自己教師付き学習など、多様なビジョンタスクにおいて、クリーン精度を維持または向上させながらロバスト性を強化できるか？

主な発見

• MAE事前学習済みのViT-Hugeモデルを微調整した際、ImageNet-Cで31.40 mCE、Stylized-ImageNetで32.77%のトップ1精度を達成し、新たな最先端のロバスト性を実現した。
• ViTモデルは摂動の大きさに対して特に強い反応を示し、$l_p$-有界攻撃（例：FGSM）および制限のない意味的攻撃（例：PerC-Adversarial）の両方に対してロバスト性が向上した。
• 標準的なATとは異なり、敵対的摂動の大きさ$\alpha$を増加させても、クリーン精度が著しく低下せず、例えばImageNetでは76.52%を維持した。
• 大きなコードブックサイズ（$K=16384$）は一般化性能を向上させ、生成画像のFIDを低下させるが、あるサイズを超えるとクリーン精度は頭打ちになる。
• 高品質な離散化器（例：OpenImagesでFID=1.14のVQGAN）は性能を著しく向上させるが、劣化した離散化器（例：FID=32.01のDALL-E）ではクリーン精度が1.3%低下した。
• ViTモデルはResNet50に比べて敵対的摂動の大きさ$\alpha$に対して感受性が低く、離散表現学習とより相性が良いことが示された。