[논문 리뷰] SPACE: Unsupervised Object-Oriented Scene Representation via Spatial Attention and Decomposition

Zhixuan Lin, Yifu Wu외 6명|arXiv (Cornell University)|2020. 01. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 44

한 줄 요약

SPACE는 공간 주의(attention)와 장면 혼합(scene-mixture)을 확률 모델에 결합하여 전경 객체와 복잡한 배경을 병렬 전경 처리로 함께 분해하고, 확장 가능한 비지도 객체 중심 장면 표현을 제공합니다. 평가 대상은 Atari와 3D-Room이며 비교 대상은 SPAIR, IODINE, GENESIS입니다.

ABSTRACT

The ability to decompose complex multi-object scenes into meaningful abstractions like objects is fundamental to achieve higher-level cognition. Previous approaches for unsupervised object-oriented scene representation learning are either based on spatial-attention or scene-mixture approaches and limited in scalability which is a main obstacle towards modeling real-world scenes. In this paper, we propose a generative latent variable model, called SPACE, that provides a unified probabilistic modeling framework that combines the best of spatial-attention and scene-mixture approaches. SPACE can explicitly provide factorized object representations for foreground objects while also decomposing background segments of complex morphology. Previous models are good at either of these, but not both. SPACE also resolves the scalability problems of previous methods by incorporating parallel spatial-attention and thus is applicable to scenes with a large number of objects without performance degradations. We show through experiments on Atari and 3D-Rooms that SPACE achieves the above properties consistently in comparison to SPAIR, IODINE, and GENESIS. Results of our experiments can be found on our project website: https://sites.google.com/view/space-project-page

연구 동기 및 목표

• 다중 객체 장면에서 가려짐과 복잡한 배경을 갖는 구조화된 장면 표현의 비지도 학습의 필요성을 제기한다.
• 확률적 잠재변수 프레임워크 내에서 공간 주의와 scene-mixture 접근을 통합하는 SPACE를 제안한다.
• 해석 가능한 객체 표현을 보존하면서 확장성 문제를 해결하기 위해 전경 객체의 병렬 처리를 가능하게 한다.

제안 방법

• 그리드 셀마다 z_where, z_0pt, z_pres, z_what를 생성하기 위한 병렬 공간 주의가 있는 전경 모듈을 도입한다.
• 공간 변환기를 사용해 각 전경 객체를 병렬로 캔버스에 렌더링한다.
• 배경은 K-컴포넌트 픽셀별 혼합으로 모델링되며, 각 컴포넌트는 z^m(혼합)와 z^c(색상) 잠재 표현을 갖고 VAE로 디코딩된다.
• 전경과 배경을 함께 고려하는 변분 목적함수(ELBO)로 학습하고, 셀 잠재에 대해 평균장 근사를 사용한다.
• 글림 경계에 닿는 객체 마스크를 방지하는 보조 경계 손실로 상자 분리를 방지한다.
• SPAIR, IODINE, GENESIS의 순차 추론과 대조적으로 병렬 전경 처리를 통해 확장성을 시연한다.

실험 결과

연구 질문

• RQ1 SPACE가 명시적 객체 중심의 전경 표현과 함께 복잡한 배경 구성 요소들을 분해할 수 있는가?
• RQ2 전경 병렬 처리가 전경 탐지 품질을 저하시키지 않으면서 확장성과 속도를 향상시키는가?
• RQ3 Atari 및 3D-Room 데이터셋에서 수렴성, 속도, 경계 상자 품질 측면에서 SPACE가 SPAIR, IODINE, GENESIS와 어떻게 비교되는가?

주요 결과

모델	데이터셋	Avg. Precision (IoU=0.5)	Avg. Precision (IoU 0.5:0.95)	Object Count Error Rate
SPACE (16×16)	3D-Room Large	0.8927 ± 0.0027	0.4445 ± 0.0075	0.0446 ± 0.0026
SPAIR (16×16)	3D-Room Large	0.9072 ± 0.0003	0.4364 ± 0.0179	0.0360 ± 0.0072
SPACE (8×8)	3D-Room Small	0.9027 ± 0.0009	0.5069 ± 0.0030	0.0397 ± 0.0026
SPAIR (8×8)	3D-Room Small	0.9081 ± 0.0004	0.5068 ± 0.0081	0.0209 ± 0.0039

• SPACE는 SPAIR와 유사한 경계 상자 품질을 달성하면서도 그래디언트 스텝 지연과 학습 수렴에서 수십 배 빠른 속도를 제공한다.
• 병렬 전경 처리를 통해 다수의 전경 객체로 확장하더라도 성능 저하가 크지 않다.
• SPACE는 객체별 속성(위치, 크기)을 가진 명시적이고 해석 가능한 전경 객체와 분해된 배경 구성요소를 제공하며, 3D-Room과 Atari에서 질적 분석에서 기준선보다 우수하다.
• 정량적 결과는 3D-Room Large 설정에서 평균 정밀도에서 SPAIR와 경쟁력 있고, 객체 수 오차율은 더 낮으며, 수렴이 더 빠르고 렌더링이 병렬화됨을 보여준다.
• 배경: SPACE의 배경은 여러 구성요소로 분해되어 배경을 단일 구덩이(blob)로 간주하는 모델보다 복잡한 형태 생성 모델링을 더 잘 가능하게 한다.