[논문 리뷰] Instance Localization for Self-supervised Detection Pretraining

Ceyuan Yang, Zhirong Wu외 2명|arXiv (Cornell University)|2021. 02. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 8

한 줄 요약

이 논문은 객체 검출을 위한 전이 성능를 향상시키기 위해 박스(annotation)를 사전학습에 통합하는 자기지도 사전학습 프리텍스트 작업인 인스턴스 로컬라이제이션(InsLoc)을 제안한다. 배경 이미지에 다양한 척도와 위치에서 객체 인스턴스를 붙이고, 모델이 바운딩 박스 가이던스를 통해 인스턴스 카테고리 예측하도록 훈련시킴으로써 검출을 위한 특징 정렬을 향상시킨다. 이로 인해 PASCAL VOC 및 COCO에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 데이터가 적은 환경에서 뛰어난 성능을 보였다.

ABSTRACT

Prior research on self-supervised learning has led to considerable progress on image classification, but often with degraded transfer performance on object detection. The objective of this paper is to advance self-supervised pretrained models specifically for object detection. Based on the inherent difference between classification and detection, we propose a new self-supervised pretext task, called instance localization. Image instances are pasted at various locations and scales onto background images. The pretext task is to predict the instance category given the composited images as well as the foreground bounding boxes. We show that integration of bounding boxes into pretraining promotes better task alignment and architecture alignment for transfer learning. In addition, we propose an augmentation method on the bounding boxes to further enhance the feature alignment. As a result, our model becomes weaker at Imagenet semantic classification but stronger at image patch localization, with an overall stronger pretrained model for object detection. Experimental results demonstrate that our approach yields state-of-the-art transfer learning results for object detection on PASCAL VOC and MSCOCO.

연구 동기 및 목표

• 이미지 분류를 위한 자기지도 사전학습과 하류 객체 검출 작업 사이의 이질성 문제를 해결하기 위해.
• 공간적 로컬라이제이션과 같은 검출 전용 요구사항에 맞춰 사전학습 작업을 정렬함으로써 객체 검출을 위한 전이 학습 성능를 향상시키기 위해.
• 자기지도 사전학습 중에 바운딩 박스 감독을 통합하면 특징 정렬과 검출 일반화가 향상되는지 조사하기 위해.
• 바운딩 박스에 공간적 제약을 가한 증강 기법이 표현 학습에 어떤 영향을 미치는지 평가하기 위해.
• 이미지넷 분류 정확도를 약간 낮추더라도, 더 나은 작업 및 아키텍처 정렬 덕분에 검출 성능가 향상될 수 있음을 입증하기 위해.

제안 방법

• 다양한 척도, 종횡비, 위치에서 객체 인스턴스(전경 코어)를 배경 이미지에 붙여 합성된 훈련 이미지를 생성한다.
• 지식 기반 바운딩 박스를 사용해 RoIAlign을 통해 추출한 영역-관심(ROI) 특징을 기반으로 대비 학습(contrastive learning)을 사용해 모델을 훈련시킨다.
• 프리텍스트 작업은 복합 이미지와 해당 바운딩 박스로부터 인스턴스 카테고리 예측을 요구하며, 이는 공간적 인지 가능한 표현 학습을 촉진한다.
• 공간적 제약을 가진 증강 기법을 적용하기 위해 바운딩 박스에 대해 영역 제안 어稠지(anchors)에서 샘플링하여 특징의 강건성과 정렬을 향상시킨다.
• MoCo-v2 프레임워크 내에서 구현되며, 자기지도 학습을 위한 모멘터리 대비(momentum contrast)를 사용한다.
• 하류 검출 모델에서 사용하는 것과 동일한 백본(예: ResNet50-C4 또는 ResNet50-FPN)을 유지함으로써 아키텍처 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 자기지도 사전학습에 바운딩 박스 annotation을 통합하면 객체 검출을 위한 전이 성능가 향상되는가?
• RQ2 전체 이미지 분류가 아닌 로컬라이제이션에 중점을 둔 프리텍스트 작업이 더 나은 검출 일반화를 이끌어내는가?
• RQ3 사전학습 중 바운딩 박스에 공간적 제약을 가한 증강 기법이 특징 정렬과 검출 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 저샷 검출 전이 설정에서 더 나은 데이터 효율성을 달성하는가?
• RQ5 분류 정확도와 검출 성능 사이의 상충 관계가 자기지도 학습에서 작업 정렬의 중요성을 얼마나 잘 입증하는가?

주요 결과

• 제안된 인스턴스 로컬라이제이션 방법은 R50-C4를 사용해 COCO에서 41.1 AP bb를 달성하여 MoCo-v2보다 +1.3 AP bb 향상되었다.
• 바운딩 박스에 공간적 제약을 가한 증강 기법을 적용한 결과 성능가 41.4 AP bb로 더욱 향상되어 증강 전략의 효과를 입증했다.
• Mini COCO(모든 COCO 훈련 데이터의 10%)에서 26.0 AP bb와 23.5 AP mk를 기록하여 MoCo-v2보다 각각 3.3 AP bb와 2.4 AP mk 향상되었다.
• 이 모델은 이미지넷 선형 프로브 정확도가 기준 모델보다 낮음에도 불구하고, 패치 로컬라이제이션 성능가 뛰어나고 검출 전용 특징과 더 잘 정렬되어 있음을 보였다.
• 장기적인 사전학습(400 에포크)은 검출 성능 향상에 기여하며, 짧은 사전학습 스케줄보다 일관되게 성능 향상을 보였다. 이는 장기 사전학습이 검출 전이에 유리함을 시사한다.
• 더 긴 테스트 트레이닝 스케줄(예: 2배 vs 1배)에서도 사전학습 모델의 상대적 성능 향상이 유지됨을 확인하여, 강건성과 높은 전이 가능성(transferability)을 입증했다.