[논문 리뷰] Unsupervised Object Localization: Observing the Background to Discover Objects

Oriane Siméoni, Chloé Sekkat외 4명|arXiv (Cornell University)|2022. 12. 15.

Visual Attention and Saliency Detection인용 수 5

한 줄 요약

이 논문은 배경을 자기지도 학습된 비전 트랜스포머 특징을 사용해 먼저 감지한 후, 객체를 그 보완으로 식별하는 방식으로 기존의 접근 방식을 뒤집는 새로운 비지도 객체 국소화 방법 FOUND를 제안한다. 희소 어텐션 맵에서 유도된 굵은 배경 마스크에 대해 단일 $1\times1$ 합성곱 레이어만을 훈련시켜, 단지 2 에포크의 훈련과 80 FPS의 추론으로 비지도 샐류언시 검출, 객체 탐지, 의미적 세그멘테이션 검색에서 최고 성능을 달성한다.

ABSTRACT

Recent advances in self-supervised visual representation learning have paved the way for unsupervised methods tackling tasks such as object discovery and instance segmentation. However, discovering objects in an image with no supervision is a very hard task; what are the desired objects, when to separate them into parts, how many are there, and of what classes? The answers to these questions depend on the tasks and datasets of evaluation. In this work, we take a different approach and propose to look for the background instead. This way, the salient objects emerge as a by-product without any strong assumption on what an object should be. We propose FOUND, a simple model made of a single $conv1 imes1$ initialized with coarse background masks extracted from self-supervised patch-based representations. After fast training and refining these seed masks, the model reaches state-of-the-art results on unsupervised saliency detection and object discovery benchmarks. Moreover, we show that our approach yields good results in the unsupervised semantic segmentation retrieval task. The code to reproduce our results is available at https://github.com/valeoai/FOUND.

연구 동기 및 목표

• 객체의 크기, 수량, 클래스에 대한 강한 가정 없이 비지도 객체 국소화 문제를 해결하기 위해.
• 복잡하고 무거운 모델이나 광범위한 훈련에 의존하는 것을 줄이고, 객체 탐지의 대체 수단으로 배경 탐지에 초점을 맞추기 위해.
• 인간의 레이블 없이 자기지도 학습된 비전 트랜스포머 표현을 활용해 의미 있는 배경 마스크를 추출하기 위해.
• 최소한의 계산 비용으로 비지도 샐류언시 검출, 객체 탐지, 의미적 세그멘테이션 검색에서 최고 성능을 달성하기 위해.

제안 방법

• 패치 수준의 특징과 어텐션 맵을 추출하기 위해 자기지도 학습된 비전 트랜스포머(예: DINO 또는 MAE)를 사용한다.
• 트랜스포머의 자기어텐션 메커니즘이 가장 적은 주의를 기울이는 패치를 배경 패치로 선별한다.
• 어텐션 맵의 노이즈를 줄이기 위해 희소성 기반 재가중 기법을 적용하여 배경 패치 선별의 정확도를 향상시킨다.
• 선택된 낮은 주의 패치와 유사한 패치들을 집계하여 굵은 배경 마스크를 구성한다.
• 粗모양의 배경 마스크의 보완을 의사 지도 레이블로 사용하여 단일 $1\times1$ 합성곱 레이어를 미세조정하기 위해 훈련한다.
• 추론 과정에서 가장자리 보존형 양방향 필터를 사용한 자기라벨링 절차를 도입하여 마스크 품질과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 비지도 학습에서 직접적인 객체 탐지보다 배경 탐지가 더 견고하고 가정이 적은 대체 수단이 될 수 있는가?
• RQ2 감독 없이도 어텐션 맵의 희소성이 신뢰할 수 있는 배경 패치를 식별하는 데 얼마나 효과적인가?
• RQ3 학습 가능한 파rameter 수가 770개에 불과한 최소한의 모델이 더 큰 복잡한 아키텍처를 능가할 수 있는가?
• RQ4 정제되지 않은 굵은 배경 마스크의 보완이 후처리 없이도 정확한 객체 국소화를 제공할 수 있는가?
• RQ5 제안된 방법이 비지도 샐류언시 검출, 객체 탐지, 의미적 세그멘테이션 검색 분야의 다양한 벤치마크에 일반화되는가?

주요 결과

• FOUND는 비지도 샐류언시 검출 분야에서 DUTS-TR 벤치마크에서 최고 성능을 기록했으며, 다중 설정 평가에서 최대 $F_{\beta}$가 0.935이고 IoU가 0.813을 기록했다.
• 단일 설정 모드에서 ECSSD 데이터셋에서 90.9%의 정확도와 0.717의 IoU를 기록했으며, 후처리 없이도 이전 방법들을 능가했다.
• DUTS-TR에서 단지 2 에포크만 훈련해도 12–60k 반복을 훈련하는 방법들과 유사한 성능을 달성하여 높은 훈련 효율성을 입증했다.
• 훈련 중 $\zeta()_{t}$를 통한 양방향 솔버 추가로 IoU가 1.7 포인트 향상되었으며, 후처리를 추가로 적용하면 추가로 0.6 포인트 향상되었다.
• 추론 시 80 FPS로 작동하여 SelfMask(36M 파라미터, 12 에포크) 및 FreeSOLO(65M 파라미터, 60k 반복)와 같은 경쟁 방법들보다 훨씬 빠르게 작동한다.
• 시각적 비교 결과 FOUND는 특히 다수의 객체가 있는 복잡한 장면에서 FreeSOLO 및 SelfMask보다 더 정확하고 과다 분할이 적은 마스크를 생성한다.