[논문 리뷰] Enhancing Adversarial Contrastive Learning via Adversarial Invariant Regularization

Xilie Xu, Jingfeng Zhang외 3명|arXiv (Cornell University)|2023. 04. 30.

Geophysical Methods and Applications인용 수 4

한 줄 요약

이 논문은 인과적 추론을 통해 불필요한 스타일 요소에 대해 강건한 표현이 불변하도록 보장함으로써, 적대적 대비 학습(ACL)을 향상시키기 위해 적대적 불변 정규화(AIR)를 제안한다. 표준 불변 정규화(SIR)와 적대적 대비 손실을 결합함으로써, 이 방법은 하류 작업에서 표준 일반화 및 적대적 공격과 일반적인 오염에 대한 강건성에서 최고 성능을 달성한다.

ABSTRACT

Adversarial contrastive learning (ACL) is a technique that enhances standard contrastive learning (SCL) by incorporating adversarial data to learn a robust representation that can withstand adversarial attacks and common corruptions without requiring costly annotations. To improve transferability, the existing work introduced the standard invariant regularization (SIR) to impose style-independence property to SCL, which can exempt the impact of nuisance style factors in the standard representation. However, it is unclear how the style-independence property benefits ACL-learned robust representations. In this paper, we leverage the technique of causal reasoning to interpret the ACL and propose adversarial invariant regularization (AIR) to enforce independence from style factors. We regulate the ACL using both SIR and AIR to output the robust representation. Theoretically, we show that AIR implicitly encourages the representational distance between different views of natural data and their adversarial variants to be independent of style factors. Empirically, our experimental results show that invariant regularization significantly improves the performance of state-of-the-art ACL methods in terms of both standard generalization and robustness on downstream tasks. To the best of our knowledge, we are the first to apply causal reasoning to interpret ACL and develop AIR for enhancing ACL-learned robust representations. Our source code is at https://github.com/GodXuxilie/Enhancing_ACL_via_AIR.

연구 동기 및 목표

• ACL에서 스타일 불변성이 강건한 표현에 어떻게 기여하는지에 대한 이해 부족을 해결하기 위해.
• 적대적 사전 훈련 중에 강건한 표현이 불필요한 스타일 요소에 대해 불변이 되도록 보장하는 방법을 개발하기 위해.
• 표준 및 강건한 일반화가 ACL에서 불변 정규화에 의해 향상됨을 이론적으로 및 실증적으로 검증하기 위해.
• 표준 불변 정규화(SIR)를 새로운 인과 기반 정규화(AIR)를 통해 적대적 환경로로 확장하기 위해.

제안 방법

• 자연 및 적대적 데이터 뷰를 포함한 데이터 생성 과정을 정형화하기 위해 ACL용 인과 그래픽 모델을 제안한다.
• 동일한 데이터의 다양한 증강 뷰 표현 간의 쿨백-라이블러 발산을 최소화함으로써, 적대적 데이터 생성 하에서의 표현 불변성을 보장하는 Adversarial Invariant Regularization(AIR)를 도입한다.
• 강건성과 스타일 불변성을 동시에 최적화하기 위해, 적대적 대비 손실, SIR, AIR의 가중 합으로 학습 목표를 설정한다.
• 이론적으로 AIR가 자연 뷰와 적대적 뷰 간의 표현 거리가 스타일 요소에 영향을 받지 않도록 암묵적으로 보장함을 보여준다.
• 사전 훈련 중 대비 손실, SIR, AIR의 공동 최적화를 위한 알고리즘 1을 설계한다.
• AutoLoRa를 사용하여 표준 및 적대적 전이 학습 벤치마크(이미지넷-1K 및 고해상도 Imagenette)에 이 방법을 적용하여 강건한 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 스タイル 불변성이 적대적 대비 학습을 통해 학습된 표현의 강건성에 어떻게 기여하는가?
• RQ2 인과적 추론을 사용하여 불필요한 스타일 요소에 대한 적대적 표현의 불변성을 정형화하고 향상시킬 수 있는가?
• RQ3 AIR를 통해 스타일 요소에 대한 불변성을 강제로 적용하면, 하류 작업에서 표준 및 강건한 일반화가 향상되는가?
• RQ4 적대적 사전 훈련 맥락에서 AIR는 표준 불변 정규화(SIR)보다 어떻게 다를까?
• RQ5 AIR는 기존의 ACL 방법과 효과적으로 조합되어 최고 성능을 달성할 수 있는가?

주요 결과

• 이미지넷-1K 데이터셋에서, DynACL-AIR는 60.10%의 AA와 81.66%의 SA를 기록하여, 베이스라인 DynACL(58.98% AA, 80.74% SA)보다 교차 작업 적대적 강건성에서 뛰어난 성능을 보였다.
• 고해상도 Imagenette 데이터셋(256×256)에서, DynACL-AIR는 표준 정확도를 1.14% 향상시키고, 강건한 정확도를 1.20% 향상시켰다.
• AutoLoRa 평가 결과, DynACL-AIR는 여러 하류 작업에서 일관된 성능 향상을 보였으며, 평균적으로 강건한 정확도가 +2.4% 향상되었다.
• 이론적 분석을 통해 AIR가 자연 뷰와 적대적 뷰 간의 표현 거리가 스타일 요소에 영향을 받지 않도록 암묵적으로 보장함을 확인했다.
• 정리 4는 강건한 표현의 스타일 불변성 특성이 하류 분류 작업 동안 유지됨을 증명한다.
• 실증 결과는 AIR가 추가 애너테이션이나 비용이 많이 드는 하이퍼파rameter 튜닝 없이도 이식성과 강건성을 향상시킴을 입증한다.