[論文レビュー] Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection

Xilie Xu, Jingfeng Zhang+3 more|arXiv (Cornell University)|Feb 8, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、自然な例と仮想的 adversarial 例の表現的乖離を最小化するように、情報量の多い少数のデータを選択することで、Adversarial Contrastive Learning (ACL) の高速化を図るラベルフリーな手法である Robustness-Aware Coreset Selection (RCS) を提案する。RCS はコアセット選択問題をサブモジュラ最大化問題に変換し、理論的最適性保証を伴う効率的な勾配最適化を可能にし、CIFAR-10 および ImageNet-1K で最大 4× の高速化を達成しながら、ロバストネスと転移性を維持する。

ABSTRACT

Adversarial contrastive learning (ACL) does not require expensive data annotations but outputs a robust representation that withstands adversarial attacks and also generalizes to a wide range of downstream tasks. However, ACL needs tremendous running time to generate the adversarial variants of all training data, which limits its scalability to large datasets. To speed up ACL, this paper proposes a robustness-aware coreset selection (RCS) method. RCS does not require label information and searches for an informative subset that minimizes a representational divergence, which is the distance of the representation between natural data and their virtual adversarial variants. The vanilla solution of RCS via traversing all possible subsets is computationally prohibitive. Therefore, we theoretically transform RCS into a surrogate problem of submodular maximization, of which the greedy search is an efficient solution with an optimality guarantee for the original problem. Empirically, our comprehensive results corroborate that RCS can speed up ACL by a large margin without significantly hurting the robustness transferability. Notably, to the best of our knowledge, we are the first to conduct ACL efficiently on the large-scale ImageNet-1K dataset to obtain an effective robust representation via RCS. Our source code is at https://github.com/GodXuxilie/Efficient_ACL_via_RCS.

研究の動機と目的

• Adversarial Contrastive Learning (ACL) の高い計算コストに起因する、各エポックごとに全トレーニングデータに対して adversarial バリエーションを生成する必要性に対処すること。
• ラベル情報が不要なコアセット選択手法を開発し、自己教師付き事前学習への応用を可能とすること。
• 自然データとその仮想的 adversarial 例の間の表現的乖離を、ロバスト表現品質の代理指標として最小化すること。
• サブモジュラ最適化を用いて理論的根拠に基づいた効率的で最適性保証付きの ACL におけるコアセット選択ソリューションを提供すること。
• 大規模な ImageNet-1K データセット上でコアセット選択を用いて ACL を初めて成功裏に実装すること。

提案手法

• RCS は、自然データとその仮想的 adversarial 変種の表現間の距離として定義される表現的乖離 (RD) を最小化するコアセット選択を定式化する。
• この問題は、単調かつ γ-弱サブモジュラであることが証明された代替のサブモジュラ最大化問題に変換され、理論的最適性バインディングを伴う勾配選択が可能になる。
• 勾配アルゴリズムを用いてコアセットを選択し、ラベルなしで摂動を生成する仮想的 adversarial 学習が使用される。
• 事前学習中に繰り返し適用され、表現が進化するに従い 10 エポックごとにコアセットを再選択する。
• 自己教師付き ACL と教師あり adversarial 学習 (SAT) の両方と互換性があり、幅広い適用性を有する。
• 理論的分析（定理 1 および 2）により、勾配解のサブモジュラ構造と最適性保証が確立される。

実験結果

リサーチクエスチョン

• RQ1 ラベルフリーなコアセット選択手法は、ロバストネスを損なわず、adversarial contrastive learning の高速化に効果的に機能するか？
• RQ2 ACL のためのコアセット選択を、理論的保証を伴うサブモジュラ最適化問題として定式化することは可能か？
• RQ3 RCS は、ImageNet-1K などの大規模データセットにおける効率的な adversarial プレトレーニングを可能にするか？
• RQ4 RCS は、ランダムなコアセット選択と比較して、ロバストネスの転移性とトレーニング効率の点で優れているか？
• RQ5 RCS は、教師ありおよび自己教師付き両設定において、事前学習モデルの転移性を維持するか？

主な発見

• CIFAR-10 および ImageNet-1K において、RCS はフル ACL と比較して最大 4× のトレーニング時間短縮を達成し、ロバストネスの損失は最小限に抑えられる。
• ImageNet-1K において、RCS はコアセットを用いた adversarial contrastive learning の最初の成功裏の応用を可能にし、大規模スケールでのロバスト表現を達成した。
• CIFAR-10 では、5% のサブセット割合で RCS を使用した場合、線形プローブによる標準テスト精度が 92.68% に達し、ランダム選択（85.72%）を上回り、フル事前学習（93.53%）と同等の性能を示した。
• 教師あり adversarial 学習 (SAT) の文脈では、10% のサブセット割合で RCS を使用した場合、CIFAR-100 で 97.82% の SFF 精度を達成し、ランダム選択（95.60%）を上回り、フル SAT（98.09%）に近い性能を示した。
• RCS は強力なロバストネスの転移性を維持し、ImageNet-1K を 5% コアセットで事前学習した場合、CIFAR-100 で AutoAttack の下で 75.35% のロバスト精度を達成した。
• 本手法は自己教師付き ACL と教師あり SAT の両方と互換性があり、事前学習のパラダイムに広く適用可能であることを示した。