[논문 리뷰] SCALOR: Generative World Models with Scalable Object Representations

Jindong Jiang, Sepehr Janghorbani외 2명|arXiv (Cornell University)|2019. 10. 06.

Generative Adversarial Networks and Image Synthesis인용 수 29

한 줄 요약

SCALOR는 최대 100개의 이동 물체와 동적 배경을 가진 영상에서 확률적 생성 세계 모델로서 확장 가능하고 병렬적인 객체 지향 표현 학습을 가능하게 한다. 공간 병렬 주의 메커니즘과 제안-기각 메커니즘을 통해 이미지당 시간 복잡도를 O(1)로 낮춰 기존의 SQAIR와 비교해 확장성, 계산 효율성, 그리고 복잡한 동적 요소를 가진 자연 영상에의 적용성에서 뛰어나다.

ABSTRACT

Scalability in terms of object density in a scene is a primary challenge in unsupervised sequential object-oriented representation learning. Most of the previous models have been shown to work only on scenes with a few objects. In this paper, we propose SCALOR, a probabilistic generative world model for learning SCALable Object-oriented Representation of a video. With the proposed spatially-parallel attention and proposal-rejection mechanisms, SCALOR can deal with orders of magnitude larger numbers of objects compared to the previous state-of-the-art models. Additionally, we introduce a background module that allows SCALOR to model complex dynamic backgrounds as well as many foreground objects in the scene. We demonstrate that SCALOR can deal with crowded scenes containing up to a hundred objects while jointly modeling complex dynamic backgrounds. Importantly, SCALOR is the first unsupervised object representation model shown to work for natural scenes containing several tens of moving objects.

연구 동기 및 목표

• 기존의 비지도 객체 지향 표현 모델이 순차적 처리로 인해 몇 개의 객체만 처리할 수 있는 확장성 한계를 해결하기 위해.
• 자연 영상 시나리오에서 복잡한 동적 배경과 다수의 전경 객체를 동시에 모델링할 수 있도록 하기 위해.
• 객체 전파 및 탐지 과정을 병렬화하여 시간 복잡도를 O(N)에서 O(1)로 감소시키기 위해.
• 제안-기각 메커니즘과 공간 병렬 주의를 도입하여 추적 정확도를 향상시키고 재탐지 비용을 줄이기 위해.
• 확률적 생성 모델이 수십 개의 이동 물체와 동적 배경을 가진 자연 영상에 처음으로 성공적으로 적용되는 것을 보여주기 위해.

제안 방법

• 모든 객체를 동시에 처리할 수 있도록 공간 병렬 주의 메커니즘을 도입하여 이미지당 시간 복잡도를 O(1)로 감소시켰다.
• 재탐지에 대한 의존도를 줄이고 전파 붕괴를 방지하기 위해 제안-기각 메커니즘을 제안하였다.
• 변동형 오토인코더를 사용한 배경 모듈을 도입하여 전경 객체와 별도로 복잡한 동적 배경을 모델링하였다.
• 순차적 RNN 기반 처리를 병행 추론으로 대체한 SQAIR 유사 확률적 프레임워크를 채택하였지만, 순차적 처리 방식을 변경하였다.
• 후보 객체 상태를 생성하는 미분 가능 제안 네트워크와 전파 중 잡음 신호를 걸러내는 기각 메커니즘을 사용하였다.
• 객체 존재 여부, 자세, 외형을 별개의 잠재 변수로 분리하여 분리 표현 학습을 가능하게 하는 통합 생성 모델을 활용하였다.

실험 결과

연구 질문

• RQ1 생성 세계 모델이 계산 효율성을 유지하면서 최대 100개의 이동 물체를 포함하는 시나리오로 확장 가능한가?
• RQ2 객체 탐지 및 전파 과정을 어떻게 병렬화하여 시간 복잡도를 O(N)에서 O(1)로 낮출 수 있는가?
• RQ3 통합 모델이 자연 영상 시나리오에서 동적 배경과 다수의 전경 객체를 동시에 모델링할 수 있는가?
• RQ4 제안-기각 메커니즘이 순차적 RNN 기반 모델에 비해 추적 안정성 향상과 재탐지 감소에 기여하는가?
• RQ5 확률적 생성 모델이 복잡한 시나리오에서 경쟁 가능한 생성 품질을 달성하면서도 구조적이고 분리된 표현을 학습할 수 있는가?

주요 결과

• SCALOR는 주의 메커니즘을 사용할 경우 95%의 전파율을 달성하고, 주의와 기각을 함께 사용할 경우 100%의 전파율을 기록하여, 이러한 메커니즘을 포함하지 않은 설정에 비해 뚜렷이 뛰어나다.
• SQAIR와 달리 이미지당 추론 시간을 O(1)로 줄여, 객체 수가 증가할수록 기하급수적으로 더 빠른 속도를 확보하였다.
• MNIST VLD 설정에서 SCALOR는 SQAIR보다 더 낮은 MSE로 수렴하였으며, 이는 훨씬 더 효율적인 학습을 의미한다.
• 그랜드 센트럴 스테이션 데이터셋에서 SCALOR는 테스트 NLL 28.30을 기록하여 기준 모델들(VAE: 27.59, VRNN: 27.79)과 유사한 성능을 보였으며, 이는 매우 구조화된 표현을 학습한 데도 불구하고 놀라운 성능이다.
• SCALOR는 자연 영상에서 수십 개의 이동 물체와 동적 배경을 처리하는 데 성공한 최초의 비지도 객체 표현 모델로, 실제 영상 이해에 한 발짝 다가선 중요한 계기이다.
• 제거 실험 결과, 주의 메커니즘을 사용하더라도 기각 메커니즘이 완전한 전파 정확도를 달성하기 위해 필수적임을 확인하였다.