[논문 리뷰] Bridging the Gap to Real-World Object-Centric Learning

Maximilian Seitzer, Max Horn외 9명|arXiv (Cornell University)|2022. 09. 29.

Advanced Image and Video Retrieval Techniques인용 수 31

한 줄 요약

DINOSAUR는 DINO를 통해 자기지도 특성 재구성(Self-supervised feature reconstruction)을 Slot Attention과 함께 활용하여 객체를 발견하는 비지도 이미지 기반 객체 중심 모델로, COCO 및 PASCAL VOC와 같은 실제 데이터로 확장된다.

ABSTRACT

Humans naturally decompose their environment into entities at the appropriate level of abstraction to act in the world. Allowing machine learning algorithms to derive this decomposition in an unsupervised way has become an important line of research. However, current methods are restricted to simulated data or require additional information in the form of motion or depth in order to successfully discover objects. In this work, we overcome this limitation by showing that reconstructing features from models trained in a self-supervised manner is a sufficient training signal for object-centric representations to arise in a fully unsupervised way. Our approach, DINOSAUR, significantly out-performs existing image-based object-centric learning models on simulated data and is the first unsupervised object-centric model that scales to real-world datasets such as COCO and PASCAL VOC. DINOSAUR is conceptually simple and shows competitive performance compared to more involved pipelines from the computer vision literature.

연구 동기 및 목표

• 합성 데이터를 넘어 확장 가능한 비지도 객체 중심 학습을 고무한다.
• 고수준 특징 재구성이라는 학습 신호를 사용하여 운동, 깊이 또는 외부 감독에 대한 의존성을 제거한다.
• 자기지도 특징이 실제 영상에서 객체를 그룹화하기 위한 강력한 귀납 바이어스를 제공하는지 조사한다.
• 사전 학습된 자기지도 특징과 그룹화 모듈을 결합하면 실제 데이터 세트에서 경쟁력 있거나 우수한 성능을 얻을 수 있음을 입증한다.

제안 방법

• 입력으로부터 고정된 자기지도 사전 학습 인코더(DINO ViT 또는 ResNet)에서 특징을 추출한다.
• Slot Attention을 사용해 인코더 특징을 K 개의 잠재 슬롯으로 그룹화한다.
• 슬롯에서 사전 학습된 특징을 재구성하도록 디코더를 학습한다(특징 재구성 손실).
• MLP 디코더(슬롯별) 또는 Transformer 자동회귀 디코더를 사용해 특징을 재구성하는 실험을 수행한다.
• 마스크와 FG-ARI 및 평균 최적 겹합(mBO)과 같은 지표로 객체 중심 발견을 평가한다.
• Slot Attention, SLATE, 단순 블록 기반 그룹화 등의 베이스라인과 비교하고 디코더의 영향 및 사전 학습 신호를 분석한다.

실험 결과

연구 질문

• RQ1 실제 데이터에서 픽셀 수준 재구성 대신 특징 수준 재구성을 사용해 비지도 객체 중심 표현이 등장할 수 있는가?
• RQ2 자기지도 사전 학습 특징(DINO 등)을 활용해 추가 감독 없이 COCO와 PASCAL VOC에서 객체 발견이 가능할까?
• RQ3 인코더 선택 및 디코더 아키텍처가 실제 장면에서 인스턴스 수준 대 의미 수준의 객체 그룹화에 어떤 영향을 미치는가?
• RQ4 DINOSAUR가 실제 세계 벤치마크에서 다른 비지도 객체 중심 및 CV 방법과 어떻게 비교되는가?
• RQ5 자기지도 사전 학습 목표가 비지도 설정에서 객체 발견을 안내하는 역할은 무엇인가?

주요 결과

• DINOSAUR는 합성 MOVi 데이터셋에서 이미지 기반 객체 중심 방법을 크게 능가하고 COCO 및 PASCAL VOC와 같은 실제 데이터로 확장된다.
• Slot Attention과 함께 자기지도 특징 재구성은 실제 객체 발견을 위한 보다 복잡한 CV 파이프라인에 비해 경쟁력 있는 결과를 낸다.
• DINO를 포함한 사전 학습 ViT 인코더는 처음부터 학습해도 강력한 객체 그룹화를 가능하게 하며, 자기지도 사전 학습은 객체 발견으로의 전이를 가능하게 한다.
• MLP 디코더는 인스턴스 수준의 그룹화를 편향시키는 반면, Transformer 디코더는 더 많은 슬롯 사용의 대가로 의미 수준의 그룹화를 개선할 수 있다; 디코더 선택은 위치화 대 분할 지표에 영향을 준다.
• COCO에서 DINOSAUR는 베이스라인에 비해 경쟁력 있는 FG-ARI 및 mBO 지표를 달성하며; PASCAL VOC에서는 비지도 객체 분할 설정에서 여전히 경쟁력을 유지한다.