[논문 리뷰] Inter-Instance Similarity Modeling for Contrastive Learning

Chengchao Shen, Dawei Liu외 3명|arXiv (Cornell University)|2023. 06. 21.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 비전 트랜스포머를 위한 새로운 이미지 혼합 방법인 PatchMix를 제안한다. 이 방법은 미니배치 내 여러 이미지의 패치를 무작위로 조합하여 풍부한 인스턴스 간 유사성을 모델링한다. 패치 수준에서 다중 이미지 혼합을 가능하게 함으로써, 혼합-원본, 혼합-혼합, 원본-원본 대비를 통해 대비 학습을 향상시켜 ImageNet-1K에서 3.0%의 선형 정확도 향상과 CIFAR100에서 8.7%의 kNN 정확도 향상을 달성하며, 최신 기준 성능을 확보한다.

ABSTRACT

The existing contrastive learning methods widely adopt one-hot instance discrimination as pretext task for self-supervised learning, which inevitably neglects rich inter-instance similarities among natural images, then leading to potential representation degeneration. In this paper, we propose a novel image mix method, PatchMix, for contrastive learning in Vision Transformer (ViT), to model inter-instance similarities among images. Following the nature of ViT, we randomly mix multiple images from mini-batch in patch level to construct mixed image patch sequences for ViT. Compared to the existing sample mix methods, our PatchMix can flexibly and efficiently mix more than two images and simulate more complicated similarity relations among natural images. In this manner, our contrastive framework can significantly reduce the gap between contrastive objective and ground truth in reality. Experimental results demonstrate that our proposed method significantly outperforms the previous state-of-the-art on both ImageNet-1K and CIFAR datasets, e.g., 3.0% linear accuracy improvement on ImageNet-1K and 8.7% kNN accuracy improvement on CIFAR100. Moreover, our method achieves the leading transfer performance on downstream tasks, object detection and instance segmentation on COCO dataset. The code is available at https://github.com/visresearch/patchmix

연구 동기 및 목표

• 기존의 대비 학습 방법이 일항 인스턴스 식별에 의존하여 자연 이미지 내 풍부한 인스턴스 간 유사성을 忽略하는 한계를 해결한다.
• 동일한 이미지에서 유래한 양의 쌍 외의 클래스 내 및 클래스 간 유사성을 포착하지 못하는 대비 학습의 단조로운 유사성 목표를 극복한다.
• 무 supervision 방식으로 다수의 이미지 간 소프트하고 복잡한 유사성 관계를 모델링하여 비지도 표현 학습을 향상시킨다.
• 특히 객체 검출 및 인스턴스 세그멘테이션과 같은 局소-구조 민감한 후행 작업에 적합한 자기지도 모델의 일반화 및 이식 가능성 향상.
• 비전 트랜스포머와 호환되는 패치 수준 혼합 전략을 개발하여 두 개 이상의 이미지를 민첩하고 효율적으로 혼합할 수 있도록 한다.

제안 방법

• 미니배치 내 여러 이미지의 패치 시퀀스를 무작위로 조합하여 하이브리드 이미지 시퀀스를 형성하는 패치 수준의 이미지 혼합 방법인 PatchMix를 제안한다.
• 다른 소스 이미지에서 패치를 샘플링하여 혼합 이미지를 구성함으로써, 지역적 시각적 구성 요소(예: 개의 머리, 새의 날개)를 유지하여 실제 인스턴스 간 유사성을 시뮬레이션한다.
• 혼합-원본, 혼합-혼합, 원본-원본 대비를 모델링하기 위해 삼중 스트림 대비 학습 프레임워크를 구축한다.
• 학습 안정성 향상과 표현 품질 향상을 위해 대비 목표 함수에 온도 조정 유사도 측정법을 도입한다.
• 비전 트랜스포머의 본질적인 시퀀스 특성을 활용하여 비연속적인 패치 혼합을 통해 장거리 의존성 학습을 유지한다.
• 혼합, 원본, 혼합-혼합 샘플에서 유도된 양의 쌍을 균형 있게 반영하는 통합 대비 목표 함수를 사용해 ViT 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 다수의 이미지 간 더 풍부한 인스턴스 간 유사성을 모델링하는 것이 대비 학습에서 자기지도 표현 학습을 향상시킬 수 있는가?
• RQ2 기존의 두 이미지 혼합 방법(Mixup, CutMix)과 비교해 복잡한 시각적 유사성을 더 잘 포착할 수 있는가?
• RQ3 대비 목표와 실제 이미지 유사성 분포 간의 분포 갭을 PatchMix는 어느 정도 줄일 수 있는가?
• RQ4 객체 검출 및 인스턴스 세그멘테이션과 같은 세부 구조 이해가 필요한 후행 작업에서 PatchMix는 성능 향상을 이끌 수 있는가?
• RQ5 추가 데이터 없이도, CIFAR10 및 CIFAR100과 같은 소규모 데이터셋에서 표현의 열악한 수렴과 과적합 문제를 완화할 수 있는가?

주요 결과

• PatchMix는 이전 최고 성능 방법 대비 ImageNet-1K에서 선형 평가 정확도 3.0% 향상 달성.
• CIFAR100에서 PatchMix는 kNN 정확도 8.7% 향상하여 더 강력한 일반화 능력과 표현 품질을 입증.
• COCO 데이터셋을 사용한 객체 검출 및 인스턴스 세그멘테이션 작업에서 최신 기준 성능 확보하여 뛰어난 이식 가능성 확인.
• 긴 전학습 스케줄이 성능 향상에 기여하며, 800 에포크에서 포화 상태에 도달함으로써 안정적이고 확장 가능한 학습 동역학을 보여줌.
• 시각화 결과, DINO나 SDMP에 비해 관련 이미지 및 동일 카테고리 이미지 간에 훨씬 richer한 유사성 분포를 확립함을 확인.
• PatchMix로 훈련된 모델은 특히 다양한 이미지 인스턴스 간 구성 요소 수준의 유사성을 포착하는 데 뛰어난 일반화 능력을 보임.