[논문 리뷰] Making Contrastive Learning Robust to Shortcuts

Tianhong Li, Lijie Fan외 5명|arXiv (Cornell University)|2020. 12. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 5

한 줄 요약

이 논문은 단순한 특징 학습을 방지하기 위해 잠재 공간에서 입력 복원을 강제하는 Reconstructive Contrastive Learning (RCL)를 제안한다. 대조 학습과 복원 목표를 함께 최적화함으로써 RCL는 흉내 낸 특징에 의존하기 쉬운 대안적 특징에 덜 의존하는 강건하고 일반화 능력이 뛰어난 표현을 학습한다. 이는 다양한 데이터셋과 다중 속성 작업에서 최신 기법들을 능가한다.

ABSTRACT

Contrastive learning is one of the fastest growing research areas in machine learning due to its ability to learn useful representations without labeled data. However, contrastive learning is susceptible to shortcuts - i.e., it may learn shortcut features irrelevant to the task of interest, and discard relevant information. Past work has addressed this limitation via handcrafted data augmentations that eliminate the shortcut. But, manually crafted augmentations do not work across all datasets and tasks. Further, data augmentations fail in addressing shortcuts in multi-attribute classification when one attribute acts as a shortcut around other attributes. In this paper, we analyze the objective function of contrastive learning and formally prove that it is vulnerable to shortcuts. We then present reconstructive contrastive learning (RCL), a framework for learning unsupervised representations that are robust to shortcuts. The key idea is to force the learned representation to reconstruct the input, which naturally counters potential shortcuts. Extensive experiments verify that RCL is highly robust to shortcuts and outperforms state-of-the-art contrastive learning methods on a variety of datasets and tasks.

연구 동기 및 목표

• 진정한 작업과 관련이 없지만 레이블과 상관관계가 있는 단순한 특징에 의해 대조 학습이 취약해지는 문제를 해결하기 위해.
• 데이터셋에 특화된 수작업 데이터 증강 기법의 한계를 극복하기 위해, 특히 한 속성이 단서로 작용하는 다중 속성 분류에서 효과가 떨어지는 문제를 해결하기 위해.
• 대조 학습 목표를 공식적으로 분석하고, 단순한 학습에 취약한 이유를 증명하기 위해.
• 작업에 특화된 데이터 증강 기법에 의존하지 않고도 강건성을 향상시킬 수 있는 일반 목적의 프레임워크를 개발하기 위해.

제안 방법

• 입력 데이터의 충실한 표현을 보장하기 위해 대조 학습과 오토인코딩 복원 손실을 조합한 공동 최적화 목표를 도입한다.
• 대조 손실이 양성 샘플의 정렬을 유도하고 복원 손실이 원본 입력에 대한 충실도를 보장하도록 이중 스트림 인코더-디코더 아키텍처를 사용한다.
• 기존 대조 학습이 비관련 특징 학습에 대해 명시적인 정규화가 없기 때문에 단순한 학습에 취약하다는 것을 공식적으로 증명한다.
• 표현 공간을 정규화하기 위해 사전 훈련 중에 복원 손실을 적용함으로써, 허위 상관관계를 악용할 가능성을 줄인다.
• 모델이 입력 정보를 모두 유지하도록 요구함으로써 복원 목표가 단순한 특징에 대한 인덕티브 바이어스로 작용하도록 보장한다.
• 대조 손실과 복원 손실의 가중 조합을 사용하여 엔드 투 엔드로 모델을 훈련함으로써 표현 품질과 복원 충실도를 균형 있게 유지한다.

실험 결과

연구 질문

• RQ1 표준 대조 학습 목표가 단순한 학습에 취약하다는 것을 공식적으로 증명할 수 있는가?
• RQ2 잠재 공간에서 입력 복원을 강제하면 표현 학습에서 단순한 학습을 효과적으로 완화할 수 있는가?
• RQ3 RCL는 데이터 증강이 실패하는 다양한 데이터셋과 다중 속성 분류 작업으로 일반화될 수 있는가?
• RQ4 단순한 조건 하에서 RCL는 최신 대조 학습 기법들과 비교해 강건성과 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 논문은 표준 대조 학습 목표가 비관련 특징에 대한 명시적 정규화가 없기 때문에 단순한 학습에 취약하다는 것을 공식적으로 증명한다.
• RCL는 Cifar-100과 CUB-200를 포함한 여러 벤치마크 데이터셋에서 통제된 단순한 조건 하에서 단순한 특징에 대한 의존도를 크게 감소시킨다.
• 다중 속성 분류 작업에서, 한 속성이 단서로 작용할 경우에도 RCL는 최신 대조 기법들을 능가하는 높은 정확도를 유지한다.
• 다운스트림 선형 평가 프로토콜에서 RCL는 향상된 일반화 능력과 강건성을 보여주며 뛰어난 성능을 달성한다.
• 제거 실험을 통해 복원 손실이 단순한 학습 완화의 핵심 요소임을 확인하였으며, 이 요소를 제거하면 성능 저하가 발생한다.
• 기존의 접근 방식과 달리 작업에 특화된 데이터 증강 기법이 필요 없이도 RCL는 다양한 데이터셋으로 잘 일반화된다.