[논문 리뷰] Unsupervised Object-Level Representation Learning from Scene Images

Jiahao Xie, Xiaohang Zhan외 3명|arXiv (Cornell University)|2021. 06. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 74인용 수 7

한 줄 요약

이 논문은 애초에 이미지 수준의 대비 학습을 사전 지식으로 활용하여 애너테이션 없이 시점 이미지 간의 객체-인스턴스 대응 관계를 발견하는 자기지도 학습 프레임워크인 객체 수준 표현 학습(ORL)을 제안한다. 임베딩 공간에서 k-NN 유사도를 사용함으로써 ORL은 이미지 간에 의미적으로 일치하는 객체 영역을 식별하며, 이는 효과적인 객체 수준의 대비 학습을 가능하게 하여 COCO의 후행 작업에서 감독 학습 기반 ImageNet 사전 학습을 뛰어넘는다. 특히 더 많은 비라벨 데이터를 사용할수록 성능 향상이 두드러진다.

ABSTRACT

Contrastive self-supervised learning has largely narrowed the gap to supervised pre-training on ImageNet. However, its success highly relies on the object-centric priors of ImageNet, i.e., different augmented views of the same image correspond to the same object. Such a heavily curated constraint becomes immediately infeasible when pre-trained on more complex scene images with many objects. To overcome this limitation, we introduce Object-level Representation Learning (ORL), a new self-supervised learning framework towards scene images. Our key insight is to leverage image-level self-supervised pre-training as the prior to discover object-level semantic correspondence, thus realizing object-level representation learning from scene images. Extensive experiments on COCO show that ORL significantly improves the performance of self-supervised learning on scene images, even surpassing supervised ImageNet pre-training on several downstream tasks. Furthermore, ORL improves the downstream performance when more unlabeled scene images are available, demonstrating its great potential of harnessing unlabeled data in the wild. We hope our approach can motivate future research on more general-purpose unsupervised representation learning from scene data.

연구 동기 및 목표

• 무작위 컷에서 유도되는 일관되지 않은 객체 수준 신호로 인해 표준 대비 자기지도 학습이 복잡한 시점 이미지에서 실패하는 문제를 해결하기 위해.
• 객체 애너테이션 없이도 사전 학습된 이미지 수준 대비 모델의 잠재적 사전 지식을 활용하여 이미지 간 객체 수준의 대응 관계를 발견하기 위해.
• 비라벨 시점 이미지에서 객체 수준 표현 학습을 가능하게 하는 다단계 자기지도 학습 파이프라인을 개발하기 위해.
• 대규모 시점 데이터에서 학습된 객체 수준 표현 학습이 후행 작업에서 감독 학습 기반 ImageNet 사전 학습을 뛰어넘을 수 있음을 입증하기 위해.

제안 방법

• 비지도 영역 제안 방법(예: 선택적 검색)을 사용하여 시점 이미지에서 후보 객체 영역을 추출한다.
• 사전 학습된 이미지 수준 대비 학습 모델(예: BYOL)을 활용하여 이미지 특징을 임bed하고 객체 또는 객체 부분에 해당하는 고응답 영역를 식별한다.
• 임베딩 공간에서 k-최근접 이웃(k-NN) 검색을 적용하여 서로 다른 이미지 간의 영역 대응 관계를 발견한다.
• 발견된 이미지 간 객체-인스턴스 대응 관계를 바탕으로 대비 학습을 위한 양성 쌍을 구성한다.
• 발견된 양성 쌍을 사용하여 객체 수준 대비 학습을 최적화하는 다단계 자기지도 학습 프레임워크를 훈련한다.
• 최종적으로 생성된 객체 수준 표현을 객체 검출, 세그멘테이션, 분류 등의 후행 작업에서 전이 학습에 활용한다.

실험 결과

연구 질문

• RQ1 이미지 수준의 대비 자기지도 학습 모델이 이미지 간 객체 수준의 대응 관계를 발견하는 데 암묵적인 사전 지식을 포함하고 있는가?
• RQ2 그러한 사전 지식을 활용하여 애너테이션 없이도 복잡한 시점 이미지에서 비지도 객체 수준 표현 학습을 가능하게 할 수 있는가?
• RQ3 COCO와 같은 대규모 시점 데이터셋에서 사전 학습할 경우, 객체 수준 대비 학습이 표준 이미지 수준 대비 학습을 뛰어넘는가?
• RQ4 더 많은 비라벨 시점 데이터를 사용할수록 객체 수준 표현 학습의 성능이 향상되는가?
• RQ5 COCO에서 학습된 객체 수준 표현 학습이 감독 학습 기반 ImageNet 사전 학습을 후행 작업에서 뛰어넘을 수 있는가?

주요 결과

• Mask R-CNN를 사용한 COCO 객체 검출에서 ORL은 39.5 mAP를 기록하여 감독 학습 기반 ImageNet 사전 학습의 38.5 mAP를 초월한다.
• COCO 인스턴스 세그멘테이션에서 ORL은 35.4 mAP를 기록하여 감독 학습 기반 ImageNet 사전 학습의 34.8 mAP를 뛰어넘는다.
• ORL의 성능은 더 많은 비라벨 시점 이미지를 사용할수록 향상되어 대규모 실세계 데이터에 대한 강력한 확장성을 보여준다.
• 이 방법은 이미지 간 의미적으로 일치하는 객체-인스턴스 쌍을 발견하며, 임베딩 공간에서 고응답 영역가 항상 실제 객체 또는 객체 부분에 일치한다.
• ORL의 어텐션 맵은 이미지 수준 BYOL보다 더 정확한 객체 경계 국소화를 보이며, 더 나은 객체 인식 특징 학습을 의미한다.
• COCO에서 재현한 BYOL은 39.5 mAP를 기록하여 기준 성능을 확인하고 실험 설정의 타당성을 검증한다.