[논문 리뷰] Unsupervised Pretraining for Object Detection by Patch Reidentification.

Jian Ding, Enze Xie외 5명|arXiv (Cornell University)|2021. 03. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 7인용 수 18

한 줄 요약

이 논문은 이미지의 다양한 증강된 시각에서 패치를 매칭함으로써 위치 구분 능력을 갖춘 표현을 학습하는 대비형 자기지도 학습 프리텍스트 과제인 패치 재식별(Re-ID)을 제안한다. 이는 COCO에서 최신 기준 성능을 달성하며, 다양한 학습 설정에서 MoCo v2와 심지어 완전 지도 학습 기반 보다 최대 2.1 mAP 향상시키는 성과를 보였다.

ABSTRACT

Unsupervised representation learning achieves promising performances in pre-training representations for object detectors. However, previous approaches are mainly designed for image-level classification, leading to suboptimal detection performance. To bridge the performance gap, this work proposes a simple yet effective representation learning method for object detection, named patch re-identification (Re-ID), which can be treated as a contrastive pretext task to learn location-discriminative representation unsupervisedly, possessing appealing advantages compared to its counterparts. Firstly, unlike fully-supervised person Re-ID that matches a human identity in different camera views, patch Re-ID treats an important patch as a pseudo identity and contrastively learns its correspondence in two different image views, where the pseudo identity has different translations and transformations, enabling to learn discriminative features for object detection. Secondly, patch Re-ID is performed in Deeply Unsupervised manner to learn multi-level representations, appealing to object detection. Thirdly, extensive experiments show that our method significantly outperforms its counterparts on COCO in all settings, such as different training iterations and data percentages. For example, Mask R-CNN initialized with our representation surpasses MoCo v2 and even its fully-supervised counterparts in all setups of training iterations (e.g. 2.1 and 1.1 mAP improvement compared to MoCo v2 in 12k and 90k iterations respectively). Code will be released at this https URL.

연구 동기 및 목표

• 이미지 분류와 객체 검출을 위한 비지도 사전학습 간 성능 격차를 해소하기 위해 객체 검출에 특화된 프리텍스트 과제를 설계함.
• 이미지 수준의 대비형 학습의 한계를 극복하기 위해 패치 수준의 표현 학습을 통해 국소적이고 객체 관련 특징에 집중함.
• 바운딩 박스 애너테이션 없이도 객체 검출에 적합한 다중 수준, 위치 구분 능력 있는 특징을 학습하는 자기지도 방법 개발함.
• 증강된 시각 간 패치 대응 관계를 모델링하여 객체 검출기의 일반화 능력과 특징의 구분 능력을 향상함.
• COCO에서 기존의 비지도 학습 및 일부 완전 지도 학습 기반 사전학습 방법보다 뛰어난 검출 성능 달성함.

제안 방법

• 중요한 이미지 패치 각각을 가짜 신원으로 간주하고, 동일한 이미지의 두 가지 증강된 시각 간의 대응 관계를 학습함.
• 패치 Re-ID를 대비형 학습 과제로 설정하여, 양성 쌍은 동일한 패치의 다른 변형이고, 음성 쌍은 다른 패치에서 온 것임.
• 깊이 있는 비지도 방식으로 Re-ID 과제를 수행하며, CNN 기반 모델의 여러 특징 수준에 적용하여 계층적 표현 학습함.
• 개체 수준의 대비 손실을 사용하여 임bedding 공간에서 양성 패치 쌍은 가까이, 음성 패치 쌍은 멀리 있도록 모델 최적화함.
• 검출 전용 레이블에 대한 미세조정 없이도 표준 객체 검출기(Mask R-CNN)에 사전 학습된 특징 통합함.
• 바운딩 박스 애너테이션 없이 이미지 수준의 증강만을 사용하여, 엔드 투 엔드로 자기지도 방식으로 표현 학습기 훈련함.

실험 결과

연구 질문

• RQ1 패치 수준의 대응 관계를 기반으로 한 자기지도 프리텍스트 과제는 이미지 수준의 대비형 학습에 비해 객체 검출 성능 향상에 기여하는가?
• RQ2 다양한 훈련 일정에서 패치 Re-ID는 MoCo v2와 같은 기존의 비지도 사전학습 방법에 비해 검출 mAP 측면에서 어떻게 비교되는가?
• RQ3 순수하게 비지도 사전학습 방법이 특정 설정에서 완전 지도 학습 기반 사전학습 기반을 초월할 수 있는 정도는 어느 정도인가?
• RQ4 패치 Re-ID를 통한 다중 수준 특징 학습은 객체 검출기의 국소화 및 분류 성능 향상에 기여하는가?
• RQ5 다양한 데이터 비율과 훈련 반복 횟수 간에서도 제안된 방법이 일관된 성능 향상을 유지할 수 있는가?

주요 결과

• 제안된 패치 재식별 방법은 모든 훈련 설정에서 COCO 객체 검출 벤치마크에서 최신 기준 성능을 달성함.
• 12,000회 반복 훈련 시, 제안된 표현으로 초기화된 Mask R-CNN이 MoCo v2보다 2.1 mAP 높은 성능 기록함.
• 90,000회 반복 훈련 시, MoCo v2 대비 1.1 mAP 향상되어 다양한 훈련 일정에서 일관된 성능 향상을 입증함.
• 저자료 환경에서도 강력한 성능 유지를 보이며, 자료 부족에 대한 강건성을 입증함.
• 일부 설정에서는 완전 지도 학습 기반 사전학습 기반을 초월하여 성능을 높임으로써, 자기지도 프리텍스트 과제의 효과성을 입증함.
• 사전학습 단계에서 바운딩 박스 애너테이션을 전혀 사용하지 않음에도 불구하고 뚜렷한 성능 향상을 달성하여, 위치 구분 능력 있는 표현 학습의 가치를 입증함.