[논문 리뷰] Object-aware Contrastive Learning for Debiased Scene Representation

Sangwoo Mo, Hyunwoo Kang외 3명|arXiv (Cornell University)|2021. 07. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 79인용 수 16

한 줄 요약

이 논문은 대상 인식형 대비 학습 프레임워크를 제안하여 대비 클래스 활성화 맵(ContraCAM)을 활용해 비지도 객체 정위치를 수행하고, 두 가지 새로운 데이터 증강 기법—대상 인식형 랜덤 크롭과 배경 믹스업—을 도입함으로써 자기지도 표현 학습에서의 환경 편향을 감소시킨다. 이 방법은 다중 객체, 배경 이동, 분포 이동이 발생하는 벤치마크에서 일반화 성능을 향상시켜 COCO, 배경 챌린지, ImageNet-Sketch에서 최신 기준 성능을 달성하며 뚜렷한 정확도 향상을 보였다.

ABSTRACT

Contrastive self-supervised learning has shown impressive results in learning visual representations from unlabeled images by enforcing invariance against different data augmentations. However, the learned representations are often contextually biased to the spurious scene correlations of different objects or object and background, which may harm their generalization on the downstream tasks. To tackle the issue, we develop a novel object-aware contrastive learning framework that first (a) localizes objects in a self-supervised manner and then (b) debias scene correlations via appropriate data augmentations considering the inferred object locations. For (a), we propose the contrastive class activation map (ContraCAM), which finds the most discriminative regions (e.g., objects) in the image compared to the other images using the contrastively trained models. We further improve the ContraCAM to detect multiple objects and entire shapes via an iterative refinement procedure. For (b), we introduce two data augmentations based on ContraCAM, object-aware random crop and background mixup, which reduce contextual and background biases during contrastive self-supervised learning, respectively. Our experiments demonstrate the effectiveness of our representation learning framework, particularly when trained under multi-object images or evaluated under the background (and distribution) shifted images.

연구 동기 및 목표

• 대상과 환경 간의 비합리적 연관성(예: 객체와 배경 간의 상관관계)이 대비 자기지도 표현 학습에서 발생하는 맥락 및 배경 편향 문제를 해결하기 위해.
• 경계 상자 애너테이션 없이도 자기지도 방법으로 객체 정위치를 수행함으로써 사전학습 단계에서 편향 완화를 가능하게 하기 위해.
• 특히 형태 편향 및 손상된 이미지 분포에서의 분포 이동에 대한 일반화 성능 향상.
• 다중 객체 및 분포 외부 데이터셋에서의 분류 및 검출과 같은 후행 작업 성능 향상.

제안 방법

• ContraCAM을 제안하며, 서로 다른 이미지 간의 특징을 대조함으로써 구분 가능한 이미지 영역을 식별하여 애너테이션 없이도 객체 정위치를 가능하게 하는 대비 자기지도 방법이다.
• 다중 객체 및 완전한 형태 탐지 가능하도록 ContraCAM을 확장하기 위해 반복적 개선 절차를 도입한다.
• 대상 인식형 랜덤 크롭을 설계하여 탐지된 객체 중심의 패치를 자르며, 혼합된 객체-배경 패치에서 유래하는 맥락 편향을 감소시킨다.
• 배경 믹스업을 도입하여 ContraCAM 마스크 기반으로 서로 다른 이미지의 배경을 혼합함으로써 배경 편향을 감소시킨다.
• ContraCAM이 생성한 마스크를 활용해 대비 학습 중에 탐지된 객체를 마스킹함으로써 효과적인 음성 샘플을 생성한다.
• MoCov2와 BYOL 모두에 이 프레임워크를 적용하여 다양한 대비 학습 기반 구조에서의 호환성과 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 대비 특징 비교를 통한 자기지도 객체 정위치가 대비 표현 학습에서 환경 편향을 효과적으로 감소시킬 수 있는가?
• RQ2 대상 인식형 랜덤 크롭과 배경 믹스업 증강 기법이 배경 이동 및 분포 이동 조건에서 일반화 성능에 어떻게 기여하는가?
• RQ3 감독 없이 ContraCAM이 다중 객체와 전체 형태를 어느 정도 정확하게 정위치할 수 있으며, 이는 표현 품질에 어떤 영향을 미치는가?
• RQ4 기본적인 대비 학습과 비교했을 때 제안된 방법이 다중 객체 및 분포 외부 데이터셋에서 후행 작업 성능을 향상시키는가?
• RQ5 MoCov2와 BYOL과 같은 다양한 대비 학습 아키텍처에 대해 이 프레임워크가 일반화 가능한가?

주요 결과

• COCO 데이터셋에서 제안된 방법은 MoCov2 기반으로 7.8% 향상된 선형 평가 정확도를 기록했고, BYOL 기반으로는 4.5% 향상되어 다중 객체 시나리오에서 뛰어난 성능을 입증했다.
• 배경 챌린지 데이터셋에서, MoCov2 기반으로 65.55%의 top-1 정확도, BYOL 기반으로 64.59%를 기록하여 베이직 라인보다 유의미하게 뛰어나며 배경 기반 오분류를 감소시켰다.
• ImageNet-Sketch(형태 편향 분포 이동)에서 MoCov2 기반으로 62.25% 정확도, BYOL 기반으로 64.59%를 기록하여 형태 기반 분포 이동에 대한 강건성을 입증했다.
• ObjectNet-9(분포 이동)에서 BG-Mixup (CAM)은 MoCov2 기반으로 29.28%, BYOL 기반으로 31.38%의 정확도를 기록하여 표준 증강 기법보다 뛰어난 성능과 강력한 일반화 능력을 보였다.
• SI-Score-9(배경 이동)에서 BG-Mixup (CAM)은 MoCov2 기반으로 63.50%, BYOL 기반으로 62.77%의 정확도를 기록하여 배경 편향 효과적인 감소를 입증했다.
• 감독 학습 기반 CAM 및 최신 비지도 방법과 비교해도 ContraCAM은 자기지도이면서 단순함에도 불구하고 유사한 정위치 성능을 달성했다.