[논문 리뷰] Self-Supervised Visual Representation Learning from Hierarchical Grouping

Xiao Zhang, Michael Maire|arXiv (Cornell University)|2020. 12. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 49인용 수 29

한 줄 요약

이 논문은 소규모 지도 학습 컨투어 검출기에서 출발하여 대규모 레이블이 없는 데이터셋에서 계층적 영역 군집을 생성하는 자기지도 학습 시각 표현 학습 프레임워크를 제안한다. 이러한 군집을 대비 학습의 감독 신호로 사용함으로써, 초기 원시 형태에 500장의 이미지 외에는 레이블이 필요 없는 상태에서 랜덤 초기화된 CNN을 학습하여 의미론적 픽셀 임베딩을 생성하며, 세분화, 영역 검색, 영상 인스턴스 추적과 같은 후행 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We create a framework for bootstrapping visual representation learning from a primitive visual grouping capability. We operationalize grouping via a contour detector that partitions an image into regions, followed by merging of those regions into a tree hierarchy. A small supervised dataset suffices for training this grouping primitive. Across a large unlabeled dataset, we apply this learned primitive to automatically predict hierarchical region structure. These predictions serve as guidance for self-supervised contrastive feature learning: we task a deep network with producing per-pixel embeddings whose pairwise distances respect the region hierarchy. Experiments demonstrate that our approach can serve as state-of-the-art generic pre-training, benefiting downstream tasks. We additionally explore applications to semantic region search and video-based object instance tracking.

연구 동기 및 목표

• 대규모 레이블이 없는 데이터에서 학습된 시각적 원시 형태를 활용하여 특징 학습을 이끄는 자기지도 표현 학습 프레임워크를 개발하는 것.
• ImageNet 사전 학습에 의존하지 않고, 랜덤 초기화 상태에서 딥 네트워크의 사전 학습을 가능하게 하는 것.
• 레이블이 없는 데이터만을 사용하여 세분화, 영역 검색, 영상 인스턴스 추적과 같은 후행 작업의 성능을 향상시키는 것.
• 컨투어 검출기에서 유도된 계층적 군집이 대비 학습에 효과적이고 확장 가능한 감독 신호로 기능할 수 있는지 탐색하는 것.
• 대규모 애너테이션 없이도 단순하고 학습된 시각적 원시 형태가 복잡한 시각 이해를 부트스트랩할 수 있는지 입증하는 것.

제안 방법

• 버클리 세그멘테이션 데이터셋에서 500장의 애너테이션된 이미지에 대해 컨투어 검출기를 학습하여 초기 이미지 세그멘테이션을 생성한다.
• 이 세그멘테이션은 융합 수준이 영역 간 거리 측도를 정의하는 계층적 영역 트리로 통합된다.
• 픽셀 쌍은 그들의 계층적 거리 기반으로 샘플링된다: 가까운 융합 수준은 양성 쌍을, 먼 거리 또는 겹치지 않는 영역은 음성 쌍을 생성한다.
• CNN의 픽셀 수준 임베딩에 대해 대비 손실을 적용하여, 동일하거나 유사한 영역에 속한 픽셀의 임베딩을 가까이 유지하도록 유도한다.
• 레이블이 없는 데이터와 계층적 구조에서 유도된 감독 신호만을 사용하여, 세그멘테이션 레이블 없이도 랜덤 초기화된 네트워크를 학습한다.
• K-means 클러스터링을 통한 영역 검색과 영상 인스턴스 추적을 위한 특징 유사도를 통해 학습된 임베딩을 평가한다.

실험 결과

연구 질문

• RQ1 소규모 지도 학습 시각 원시 형태(예: 컨투어 검출)가 대규모 레이블이 없는 데이터셋에서 자기지도 표현 학습에 효과적인 감독 신호로 사용될 수 있는가?
• RQ2 계층적 군집을 감독 신호로 사용하여 랜덤 초기화된 CNN을 학습할 경우, ImageNet 사전 학습에 비해 경쟁력 있거나 우수한 특징을 얻을 수 있는가?
• RQ3 학습된 픽셀 수준 임베딩이 피니튜닝 없이도 세분화, 영역 검색, 영상 인스턴스 추적과 같은 후행 작업을 지원할 수 있는가?
• RQ4 PASCAL 및 COCO와 같은 데이터셋에서 MoCo 및 InstFeat와 같은 최신 자기지도 접근법과 비교해 본다면 이 방법의 성능는 어떠한가?
• RQ5 계층적 군집 신호가 다수의 객체가 포함된 복잡한 시나리오에서 일반화 성능를 얼마나 향상시키는가?

주요 결과

• 이 방법은 PASCAL 및 COCO 이미지에서 레이블이 전혀 없이도 세분화 피니튜닝에서 최신 기술 수준의 성능을 달성하며, InstFeat를 능가하고 MoCo와 동등한 성능을 보였다.
• PASCAL 검증 세트에서 이 방법은 의미론적 영역 검색에 대해 평균 IoU 24.60을 달성하여 SegSort의 10.17을 크게 앞서 갔다.
• DAVIS-2017 영상 인스턴스 추적에서 이 방법은 5프레임의 컨텍스트를 사용해 영역 유사도(J) 47.1과 경계 정확도(F) 48.9을 기록했으며, CycleTime 및 mgPFF를 뛰어넘었다.
• 시각화된 PCA를 통해 학습된 임베딩은 의미론적 카테고리와 인스턴스 식별을 모두 포착하고 있음을 확인했다.
• 모멘텀 인코더나 메모리 백업 없이도 이 방법은 효과적이며, MoCo 및 유사한 방법에 비해 훨씬 단순화된 학습 파이프라인을 제공한다.
• 이 방법은 피니튜닝 없이도 세그멘테이션 검색과 영상 추적에 대해 강력한 제로샷 전이 성능를 보이며, 학습된 특징의 의미론적 풍부함을 입증한다.