[논문 리뷰] SCALABLE OBJECT-ORIENTED SEQUENTIAL GENERATIVE MODELS

Jindong Jiang, Sepehr Janghorbani외 2명|arXiv (Cornell University)|2019. 10. 06.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

SCALOR는 공간적 평행 주의와 제안-기각 메커니즘을 사용하여 최대 약 100개의 객체를 가진 시나리오에서 비지도 학습을 가능하게 하는 확장성 있고 객체 중심의 생성 모델이다. 이는 종합적인 배경과 함께 전경 객체를 동시에 모델링함으로써 몇 십 개의 움직이는 객체를 가진 자연스러운 시나리오를 처음으로 모델링한 것이다.

ABSTRACT

The most significant limitation of previous approaches to unsupervised learning for object-oriented representation is its scalability. Most of the previous models have been shown to work only on scenes with a few objects. In this paper, we propose SCALOR, a generative model for Scalable Sequential Object-Oriented Representation. With the spatially parallel attention and proposal-rejection mechanism, SCALOR is a scalable model that can deal with orders of magnitude more objects that previous models. Besides, we introduce the background model so that it can model the foreground objects and complex background together. In experiments on large-scale MNIST and DSprite datasets, we demonstrate that SCALOR can deal with scenes with near 100 objects as well as modeling complex natural background images. Importantly, using SCALOR, we demonstrate for the first time a result of modeling natural scenes with several tens of moving objects

연구 동기 및 목표

• 이전의 객체 중심 생성 모델들이 일반적으로 몇 개의 객체만 처리할 수 있는 확장성의 한계를 해결하기 위해.
• 움직이는 실체를 포함한 많은 수의 객체를 가진 순차적 시나리오에서의 비지도 학습을 가능하게 하기 위해.
• 통합된 생성 프레임워크 내에서 전경 객체와 복잡한 자연 배경 시나리오를 함께 모델링하기 위해.
• 객체 중심의 순차적 방식으로 수십 개의 움직이는 객체를 가진 현실적인 자연 시나리오를 모델링할 수 있는 가능성을 입증하기 위해.

제안 방법

• SCALOR는 많은 수의 객체들 간의 공간적 관계를 동시에 처리하기 위해 공간적 평행 주의를 활용한다.
• 동적으로 객체 제안을 생성하고 개선하기 위해 제안-기각 메커니즘을 사용하여 확장성과 표현 품질을 향상시킨다.
• 비객체 특화의 시나리오 구성 요소를 명시적으로 표현하기 위해 별도의 배경 모델을 도입한다.
• 순차적 생성 과정을 통해 객체 중심 표현과 배경 특징을 함께 최적화한다.
• 객체 수가 증가함에 따라 효율적으로 확장되는 주의 기반 아키텍처를 활용한다.
• 종합적인 엔드 투 엔드 학습을 통해 순차적 영상 프레임에서 분리 가능하고 해석 가능한 객체 요소를 학습한다.

실험 결과

연구 질문

• RQ1 이전 모델들보다 수십 배에서 수백 배 이상 많은 수의 객체를 가진 시나리오에 대해 생성 모델이 확장 가능한가?
• RQ2 통합된 모델이 전경 객체와 복잡한 자연 배경을 얼마나 효과적으로 표현할 수 있는가?
• RQ3 SCALOR는 많은 수의 움직이는 객체를 포함한 시나리오에서 분리 가능하고 해석 가능한 객체 요소를 학습할 수 있는가?
• RQ4 제안-기각 메커니즘이 고객체 수 환경에서 확장성과 생성 품질을 향상시키는가?
• RQ5 SCALOR는 수십 개의 움직이는 객체를 포함한 현실적인 자연 시나리오로 일반화 가능한가?

주요 결과

• SCALOR는 대규모 MNIST 및 DSprite 데이터셋에서 약 100개의 객체를 가진 시나리오를 성공적으로 모델링하여 이전의 모델 용량을 크게 초월한다.
• 고객체 수 환경에서 객체 생성 및 분리 가능성 분석에서 최신 기술 수준의 성능을 달성한다.
• 비지도 방식으로 객체 중심의 순차적 접근을 통해 몇 십 개의 움직이는 객체를 포함한 자연 시나리오를 처음으로 성공적으로 모델링했다.
• 배경 모델의 통합은 특히 복잡한 시나리오에서 재구성 품질과 분리 가능성 향상에 기여한다.
• 공간적 평행 주의는 고객체 수 환경에서도 효율적인 추론과 훈련을 가능하게 한다.
• 제안-기각 메커니즘은 혼잡한 시나리오에서 객체 정렬 및 표현 품질을 향상시킨다.