[논문 리뷰] Interventional Contrastive Learning with Meta Semantic Regularizer

Wenwen Qiang, Jiangmeng Li외 3명|arXiv (Cornell University)|2022. 06. 29.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 배경을 혼란 요인으로 간주하고 메타 의미 정규화기를 통해 배경 간섭을 줄이기 위해 원인적 표현 학습 방법인 간섭적 대비 학습과 메타 의미 정규화기(Interventional Contrastive Learning with Meta Semantic Regularizer, ICL-MSR)를 제안한다. 이 방법은 다양한 대비 학습 프레임워크와 벤치마크에서 성능을 향상시키며, 더 날카운 generalization 경계와 준자율 학습에서 최고 성능을 달성한다.

ABSTRACT

Contrastive learning (CL)-based self-supervised learning models learn visual representations in a pairwise manner. Although the prevailing CL model has achieved great progress, in this paper, we uncover an ever-overlooked phenomenon: When the CL model is trained with full images, the performance tested in full images is better than that in foreground areas; when the CL model is trained with foreground areas, the performance tested in full images is worse than that in foreground areas. This observation reveals that backgrounds in images may interfere with the model learning semantic information and their influence has not been fully eliminated. To tackle this issue, we build a Structural Causal Model (SCM) to model the background as a confounder. We propose a backdoor adjustment-based regularization method, namely Interventional Contrastive Learning with Meta Semantic Regularizer (ICL-MSR), to perform causal intervention towards the proposed SCM. ICL-MSR can be incorporated into any existing CL methods to alleviate background distractions from representation learning. Theoretically, we prove that ICL-MSR achieves a tighter error bound. Empirically, our experiments on multiple benchmark datasets demonstrate that ICL-MSR is able to improve the performances of different state-of-the-art CL methods.

연구 동기 및 목표

• 배경 특징이 대비 학습 성능에 악영향을 미치는 것을 식별하고 이를 해결하기 위해.
• 전체 이미지 또는 배경 제거된 이미지로 훈련 및 테스트할 때 CL 모델에서 관찰된 모순적 행동을 설명하기 위해.
• 배경을 표현 학습에 영향을 미치는 혼란 요인으로 모델링하는 원인적 프레임워크를 개발하기 위해.
• 기존 CL 프레임워크에 통합할 수 있는 배경 조정 기반 정규화 방법을 설계하기 위해.
• 이론적 및 실증적으로 더 날카운 오차 경계와 향상된 일반화 및 강건성을 입증하기 위해.

제안 방법

• 저자들은 배경이 대비 학습에서 앵커 및 양성 샘플에 영향을 미치는 혼란 요인으로 모델링된 구조적 원인 모델(SCM)을 구축한다.
• 그들은 배경 특징의 혼란 효과를 간섭하기 위해 배경 조정을 수행하는 메타 의미 정규화기(MSR)를 제안한다.
• MSR은 배경 맥락과 무관한 전경에 강건한 표현을 학습하도록 특징 공간을 정규화한다.
• 이 방법은 플러그 앤 플레이 방식이며, SimCLR나 BYOL과 같은 어떤 대비 학습 프레임워크와도 호환된다.
• 이론적 분석은 ICL-MSR가 표준 대비 학습보다 더 날카운 일반화 오차 경계를 유도함을 보여준다.
• 균일성 제약이 적용된 학습 가능한 가중치 행렬과 정규화 손실을 균형 잡는 데 사용되는 하이퍼파ram터 λ를 사용한다.

실험 결과

연구 질문

• RQ1 전체 이미지로 훈련한 후에도 왜 대비 학습 모델이 전경 영역에서 성능이 떨어지는가?
• RQ2 왜 전경 영역으로 훈련하면 전경에서는 성능이 향상되지만 전체 이미지에서는 성능이 떨어지는가?
• RQ3 배경 특징을 대비 표현 학습에서 공식적으로 혼란 요인으로 모델링할 수 있는가?
• RQ4 배경 조정을 통한 원인적 간섭이 배경 간섭에 대한 강건성을 향상시키는가?
• RQ5 제안된 정규화 방법을 통합하면 더 날카운 일반화 경계와 향상된 최종 성능가 얻을 수 있는가?

주요 결과

• ICL-MSR는 준자율 학습 ImageNet 분류에서 최고 성능을 기록하며, 1% 및 10% 레이블 데이터에서 SimCLR와 BYOL을 모두 압도한다.
• 1% ImageNet 분할에서 ICL-MSR(BYOL + MSR)는 상위-1 정확도 70.5%를 기록하여 BYOL의 68.8%를 초월한다.
• 10% ImageNet 분할에서 ICL-MSR(BYOL + MSR)는 상위-5 정확도 90.7%에 도달하여 BYOL의 89.0%를 뛰어넘는다.
• 전경에서 훈련했을 때 전체 이미지에서의 성능 향상으로, 기존 모델에서 관찰된 모순을 해결한다.
• 하이퍼파ram터 분석 결과 λ=1 및 γ=1이 최적의 성능을 내며, 정규화 손실과 대비 손실 간의 균형이 효과적으로 이루어짐을 시사한다.
• 고해상도 데이터셋에서 성능 향상이 가장 두드러지며, CIFAR-10과 같은 저해상도 데이터셋에서는 1% 미만의 성능 향상으로 배경 간섭이 적음을 시사한다.