[논문 리뷰] Robust Contrastive Learning Using Negative Samples with Diminished Semantics

Songwei Ge, Shlok Mishra외 3명|arXiv (Cornell University)|2021. 10. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 24

한 줄 요약

이 논문은 비어 있는 의미적 특징(예: 질감, 국소 패치)만 유지하는 부정 샘플을 생성함으로써 강건성을 향상시키는 새로운 대비 학습 프레임워크를 제안한다. 질량 기반 및 패치 기반 증강을 사용해 이러한 부정 샘플을 생성함으로써, 표면적인 특징에 대한 의존도를 감소시켜 특히 세분화된 및 스케치 기반 벤치마크에서 크게 향상된 분포 외 일반화 성능을 달성한다.

ABSTRACT

Unsupervised learning has recently made exceptional progress because of the development of more effective contrastive learning methods. However, CNNs are prone to depend on low-level features that humans deem non-semantic. This dependency has been conjectured to induce a lack of robustness to image perturbations or domain shift. In this paper, we show that by generating carefully designed negative samples, contrastive learning can learn more robust representations with less dependence on such features. Contrastive learning utilizes positive pairs that preserve semantic information while perturbing superficial features in the training images. Similarly, we propose to generate negative samples in a reversed way, where only the superfluous instead of the semantic features are preserved. We develop two methods, texture-based and patch-based augmentations, to generate negative samples. These samples achieve better generalization, especially under out-of-domain settings. We also analyze our method and the generated texture-based samples, showing that texture features are indispensable in classifying particular ImageNet classes and especially finer classes. We also show that model bias favors texture and shape features differently under different test settings. Our code, trained models, and ImageNet-Texture dataset can be found at https://github.com/SongweiGe/Contrastive-Learning-with-Non-Semantic-Negatives.

연구 동기 및 목표

• 도메인 이동 하에서 강건성을 해치는 비어 있는 의미적 표면적 특징(예: 질량, 국소 패치)에 의존하는 CNN의 문제를 해결한다.
• 비어 있는 의미적 특징만 유지하는 부정 샘플이 대비 학습을 정규화하고 저수준 패턴에 대한 모델 편향을 줄일 수 있는지 조사한다.
• 시각적 표현 학습에서 형태-질량 편향을 체계적으로 연구할 수 있도록 새로운 데이터셋인 ImageNet-Texture를 개발한다.
• 형태와 질량 특징 간의 트레이드오프를 제어함으로써 다양한 후행 작업에서 성능 향상을 이끌어내며, 특히 세분화된 및 분포 외 설정에서 유의미한 개선을 보인다.

제안 방법

• ImageNet 이미지에서 추출한 패치에 고전적인 질량 생성 방법을 적용하여 질량 기반 부정 샘플을 생성한다.
• 동일한 입력 이미지에서 크기가 다른 무작위로 샘플된 패치를 타일링하여 패치 기반 부정 샘플을 생성한다.
• 표현 유사도가 입력과 부정 샘플 간에 최소화되도록 표준 대비 학습 프레임워크(MoCo, BYOL 등)에 이러한 비어 있는 의미적 부정 샘플을 통합한다.
• 쿼리와 비어 있는 의미적 부정 샘플 간의 유사도에 대해 학습 가능한 페널티를 통해 형태와 질량 특징의 상대적 중요도를 제어한다.
• 제안된 ImageNet-Texture 데이터셋을 사용하여 다양한 클래스와 데이터셋에서 질량과 형태 특징이 분류 성능에 기여하는 방식을 분석한다.
• 손실 함수를 수정하지 않고 표준 대비 학습 목표(MoCo, BYOL 등)에 적용함으로써 즉시 통합이 가능한 플러그 앤 플레이 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비어 있는 의미적 특징(예: 질량, 국소 패치)만 유지하는 부정 샘플이 대비 학습 표현의 강건성을 향상시킬 수 있는가?
• RQ2 형태와 질량 편향 간의 트레이드오프가 분포 외 설정에서 모델 일반화에 어떤 영향을 미치는가?
• RQ3 세분화된 이미지 인식 작업에서 질량 특징이 정확한 분류에 얼마나 기여하는가?
• RQ4 제안된 부정 샘플 생성 방법이 일반화 및 강건성 측면에서 표준 부정 샘플링 전략을 능가할 수 있는가?
• RQ5 비어 있는 의미적 부정 샘플의 사용이 표면적 특징에 대한 모델 의존도를 감소시키면서도 내부 도메인 정확도를 유지하거나 향상시키는가?

주요 결과

• 제안된 부정 샘플(질량 기반 및 패치 기반)은 ImageNet-100, ImageNet-1K, STL-10 전반에서 일반화 성능 향상이 일관되게 이루어지며, 특히 분포 외(OOD) 설정에서 두드러진 성능 향상을 보였다.
• 비어 있는 의미적 부정 샘플을 사용해 훈련된 모델는 질량 특징에 대한 의존도가 감소하여 형태에 중점을 두는 ImageNet-Sketch에서 더 나은 성능을 보였다.
• 세분화된 분류 작업(예: 개 품종)에서 질량 특징이 특히 중요함을 발견하여, 그 역할이 맥락에 따라 달라짐을 시사했다.
• 이 방법은 형태-질량 트레이드오프를 효과적으로 제어할 수 있다: 비어 있는 의미적 부정 샘플에 대한 페널티를 증가시킴으로써 모델의 편향을 형태 측면으로 옮겨, 형태 민감한 벤치마크에서 성능 향상을 이끌어냈다.
• ImageNet-Texture 데이터셋은 일부 클래스(예: 수세미, 패치)에서는 형태보다 질량이 더 중요함을 드러내어 클래스별 특징 중요도의 다양성을 입증했다.
• 비어 있는 의미적 부정 샘플은 표준 부정 샘플보다 대비 학습에서 더 효과적임을 확인했다. 이는 더 어려운, 더 정보가 많은 부정 샘플로서 모델을 더 잘 정규화하기 때문이다.