[논문 리뷰] Spatially Consistent Representation Learning

Byungseok Roh, Wuhyun Shin외 2명|arXiv (Cornell University)|2021. 03. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 10

한 줄 요약

이 논문은 기하학적 변환을 통해 자르는 영역를 정렬함으로써 특징 표현의 국소적 공간 일관성을 향상시키는 자기지도 학습 방법인 공간 일관성 표현 학습(Spatially Consistent Representation Learning, SCRL)을 제안한다. RoIAlign를 활용해 공간적으로 대응하는 특징을 매칭하고, BYOL 스타일의 프레임워크를 통해 유사도를 최적화함으로써, 객체 검출 및 인스턴스 세그멘테이션에서 최신 기술 수준의 성능을 달성하며, ImageNet 사전학습 및 이전의 자기지도 학습 방법을 모두 능가한다.

ABSTRACT

Self-supervised learning has been widely used to obtain transferrable representations from unlabeled images. Especially, recent contrastive learning methods have shown impressive performances on downstream image classification tasks. While these contrastive methods mainly focus on generating invariant global representations at the image-level under semantic-preserving transformations, they are prone to overlook spatial consistency of local representations and therefore have a limitation in pretraining for localization tasks such as object detection and instance segmentation. Moreover, aggressively cropped views used in existing contrastive methods can minimize representation distances between the semantically different regions of a single image. In this paper, we propose a spatially consistent representation learning algorithm (SCRL) for multi-object and location-specific tasks. In particular, we devise a novel self-supervised objective that tries to produce coherent spatial representations of a randomly cropped local region according to geometric translations and zooming operations. On various downstream localization tasks with benchmark datasets, the proposed SCRL shows significant performance improvements over the image-level supervised pretraining as well as the state-of-the-art self-supervised learning methods. Code is available at https://github.com/kakaobrain/scrl

연구 동기 및 목표

• 기하학적 변환 하에서 국소적 표현이 일관성 없이 나타나는 기존 대비 학습 방법의 한계를 해결하기 위해, 특히 국소화 작업에 적합한 표현을 개선한다.
• 객체 검출 및 인스턴스 세그멘테이션과 같은 다중 객체 및 위치 인식 시각 작업에서 특징의 공간 일관성을 향상시키기 위해.
• 대비 학습에서 극단적인 자르기로 인해 의미적으로 다른 이미지 영역 간에 잘못된 유사도가 유도되는 부정적 영향을 줄이기 위해.
• 이동 및 줌 인/아웃과 같은 기하학적 증강에 대해 국소적 특징의 불변성을 강제하는 자기지도 학습 목표를 개발하기 위해.
• 공간 일관성 있는 표현이 보다 우수한 최종 성능을 이끌어내며, 특히 경계 박스 회귀 작업에서 유의미한 성능 향상을 이끌어내는지 입증하기 위해.

제안 방법

• 동일한 이미지의 증강된 뷰 간에 기하학적 변환(예: 이동, 줌)을 사용해 공간적으로 대응하는 국소 영역을 매칭하는 새로운 자기지도 학습 목표를 제안한다.
• 두 증강된 뷰의 특징 맵에서 공간적으로 정렬된 영역에서 동일한 크기의 국소 특징 표현을 추출하기 위해 RoIAlign를 적용한다.
• 음성 쌍이 필요 없이, 정렬된 국소 표현 간의 거리를 최소화하는 방식으로 BYOL 프레임워크를 적응하여 적용한다.
• 기하학적 흐트러짐에도 불구하고 동일한 공간 영역에 대해 일관된 특징을 생성하도록 유도하는 대비 유사한 목표를 사용한다.
• BYOL과 유사하게, 훈련을 안정화시키기 위해 모멘텀 업데이트된 온라인 및 타겟 백본 네트워크를 활용한다.
• ImageNet에서 훈련하고, 표준 객체 검출 및 세그멘테이션 벤치마크를 사용해 최종 응용 과제에서 평가한다.

실험 결과

연구 질문

• RQ1 국소 표현의 공간 일관성을 강제하면, 객체 검출 및 인스턴스 세그멘테이션과 같은 국소화 과제에서 성능 향상이 이루어지는가?
• RQ2 공간적으로 정렬된 자르기 기반의 자기지도 학습 목표가 전역 대비 학습보다 공간적 구조를 더 잘 유지하는가?
• RQ3 제한된 데이터와 장시간 훈련 스케줄 조건에서 SCRL은 ImageNet 사전학습 및 최신 기술 수준의 자기지도 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ4 공간 일관성이 경계 박스 회귀 성능 향상에 얼마나 기여하는가, 분류 정확도에 비해?
• RQ5 공간 일관성 있는 표현은 다양한 데이터셋과 검출 헤드 아키텍처 간에 일반화 가능한가?

주요 결과

• COCO 객체 검출에서 SCRL은 ImageNet 사전학습 및 모든 최신 기술 수준의 자기지도 학습 방법을 능가하며, 단지 200 에포크의 업스트림 사전학습으로도 더 높은 AP를 달성한다.
• COCO 검출에서 다양한 최종 훈련 스케줄(0.5×에서 7×)을 적용했을 때, SCRL은 모든 설정에서 무작위 초기화, 지도 학습 사전학습, BYOL을 모두 능가한다.
• COCO의 진짜 박스를 대상으로 한 RoI 선형 평가에서 SCRL은 74.8%의 정확도를 기록했으며, BYOL(71.5%)과 지도 학습 ImageNet 사전학습(72.7%)을 크게 앞서나간다.
• 정성적 분석 결과, BYOL이 이동 불변 특징으로 인해 전체 객체를 감지하지 못하는 경우에도 SCRL은 더 날카롭고 정확한 경계 박자를 생성한다.
• SCRL은 COCO 훈련 데이터의 1/10만을 사용하는 데이터 부족 환경에서도 성능 향상을 유지하며, 공간 일관성 있는 특징의 강건성과 전이 가능성(transferability)을 입증한다.
• 전역 및 공간 제약이 있는 선형 평가 간의 상충 관계가 나타나, 국소화 과제에서 공간 일관성이 핵심임을 시사한다.