[論文レビュー] Enhancing Adversarial Contrastive Learning via Adversarial Invariant Regularization

Xilie Xu, Jingfeng Zhang+3 more|arXiv (Cornell University)|Apr 30, 2023

Geophysical Methods and Applications被引用数 4

ひとこと要約

本稿では、因果的推論を用いて余分なスタイル要因に対して代表表現が不変であるように制約を課すことで、対向的対照学習（ACL）の性能を向上させるための敵対的不変正則化（AIR）を提案する。標準的な不変正則化（SIR）と敵対的対照損失を組み合わせることで、下流タスクにおける標準的汎化性能と敵対的攻撃および一般的なノイズに対する耐性の両面で、最先端の性能を達成する。

ABSTRACT

Adversarial contrastive learning (ACL) is a technique that enhances standard contrastive learning (SCL) by incorporating adversarial data to learn a robust representation that can withstand adversarial attacks and common corruptions without requiring costly annotations. To improve transferability, the existing work introduced the standard invariant regularization (SIR) to impose style-independence property to SCL, which can exempt the impact of nuisance style factors in the standard representation. However, it is unclear how the style-independence property benefits ACL-learned robust representations. In this paper, we leverage the technique of causal reasoning to interpret the ACL and propose adversarial invariant regularization (AIR) to enforce independence from style factors. We regulate the ACL using both SIR and AIR to output the robust representation. Theoretically, we show that AIR implicitly encourages the representational distance between different views of natural data and their adversarial variants to be independent of style factors. Empirically, our experimental results show that invariant regularization significantly improves the performance of state-of-the-art ACL methods in terms of both standard generalization and robustness on downstream tasks. To the best of our knowledge, we are the first to apply causal reasoning to interpret ACL and develop AIR for enhancing ACL-learned robust representations. Our source code is at https://github.com/GodXuxilie/Enhancing_ACL_via_AIR.

研究の動機と目的

• ACLにおけるスタイル不変性が敵対的耐性表現にどのように寄与するかの理解の不足を解消すること。
• 敵対的事前学習中に、頑健な表現が余分なスタイル要因に対して不変であるように制約を課す手法を開発すること。
• 理論的および実験的に、不変正則化がACLにおける標準的および耐性のある汎化性能を向上させることを検証すること。
• 標準的な不変正則化（SIR）を、新しい因果ベースの正則化（AIR）によって敵対的設定に拡張すること。

提案手法

• 自然および敵対的データビューを含むデータ生成プロセスを形式化するための因果的グラフィカルモデルをACLに提案する。
• 敵対的データ生成下で、同じデータの異なる拡張ビューの表現間のカルバック・ライブラー発散をペナルティ化する、敵対的不変正則化（AIR）を導入する。
• 敵対的対照損失、SIR、AIRの重み付き和として学習目的を定式化し、頑健性とスタイル不変性を同時に最適化する。
• 理論的に、AIRが自然ビューと敵対的ビュー間の表現的距離がスタイル要因に依存しないように暗黙的に制約することを示す。
• 事前学習中に対照損失、SIR、AIRを共同で最適化するためのアルゴリズム1を設計する。
• AutoLoRaを用いて、ImageNet-1Kおよび高解像度Imagenetteを含む標準的および敵対的転移学習ベンチマークにこの手法を適用し、頑健な微調整を実現する。

実験結果

リサーチクエスチョン

• RQ1 スタイル不変性は、敵対的対照学習によって学習された表現の耐性にどのように寄与するか？
• RQ2 因果的推論を用いて、敵対的表現の余分なスタイル要因に対する不変性を形式化し、向上させることができるか？
• RQ3 AIRを用いてスタイル要因に対する不変性を強制することで、下流タスクにおける標準的および耐性のある汎化性能が向上するか？
• RQ4 敵対的事前学習の文脈において、AIRは標準的な不変正則化（SIR）と比較してどのように異なるか？
• RQ5 AIRは、既存のACL手法と効果的に組み合わせられ、最先端の性能を達成できるか？

主な発見

• ImageNet-1Kデータセットにおいて、DynACL-AIRは60.10%のAA（敵対的精度）と81.66%のSA（標準的精度）を達成し、ベースラインのDynACL（58.98% AA、80.74% SA）を上回った。
• 高解像度Imagenetteデータセット（256×256）では、DynACL-AIRはベースラインのDynACLと比較して、標準的精度が1.14%向上、敵対的精度が1.20%向上した。
• AutoLoRaの評価では、DynACL-AIRが複数の下流タスクで一貫した性能向上を示し、平均して敵対的精度が+2.4%向上した。
• 理論的分析により、AIRが自然ビューと敵対的ビュー間の表現的距離がスタイル要因に依存しないように暗黙的に制約することを確認した。
• 命題4により、下流分類タスクにおいても、頑健な表現のスタイル不変性が保持されることを証明した。
• 実験的結果により、追加のアノテーションや高コストのハイパーパramータチューニングを必要とせず、AIRが転移性と耐性を向上させることを検証した。