[논문 리뷰] Unmasking the Inductive Biases of Unsupervised Object Representations for Video Sequences

Marissa A. Weis, Kashyap Chitta외 5명|arXiv (Cornell University)|2020. 06. 12.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 14

한 줄 요약

이 논문은 감지, 분할, 추적과 같은 핵심 인지 능력을 평가하기 위해 합성 비디오 벤치마크를 소개한다. 이는 MONet-Video(원래 정적 이미지용 MONet의 비디오 버전), OP3, TBA를 비교하며, 제약 없는 잠재 표현과 전체 이미지 마스크를 사용하는 모델들이 공간 변환기 기반의 TBA보다 객체 중심 작업에서 더 우수한 성능을 보였음을 발견했다. 다만 모든 모델이 복잡한 추적 시나리오에서는 어려움을 겪는다.

ABSTRACT

Perceiving the world in terms of objects is a crucial prerequisite for reasoning and scene understanding. Recently, several methods have been proposed for unsupervised learning of object-centric representations. However, since these models have been evaluated with respect to different downstream tasks, it remains unclear how they compare in terms of basic perceptual abilities such as detection, figure-ground segmentation and tracking of individual objects. In this paper, we argue that the established evaluation protocol of multi-object tracking tests precisely these perceptual qualities and we propose a new benchmark dataset based on procedurally generated video sequences. Using this benchmark, we compare the perceptual abilities of three state-of-the-art unsupervised object-centric learning approaches. Towards this goal, we propose a video-extension of MONet, a seminal object-centric model for static scenes, and compare it to two recent video models: OP3, which exploits clustering via spatial mixture models, and TBA, which uses an explicit factorization via spatial transformers. Our results indicate that architectures which employ unconstrained latent representations based on per-object variational autoencoders and full-image object masks are able to learn more powerful representations in terms of object detection, segmentation and tracking than the explicitly parameterized spatial transformer based architecture. We also observe that none of the methods are able to gracefully handle the most challenging tracking scenarios, suggesting that our synthetic video benchmark may provide fruitful guidance towards learning more robust object-centric video representations.

연구 동기 및 목표

• 하류 작업 성능을 넘어서 비지도 객체 중심 비디오 표현 모델의 인지 능력을 평가하기 위해.
• 감지, 배경-객체 분할, 추적과 같은 기본 객체 수준 능력에 대한 표준화된 평가 부족 문제를 해결하기 위해.
• 공정한 비교를 가능하게 하기 위해 절차적으로 생성된 비디오 시퀀스를 기반으로 한 새로운 벤치마크를 제안하기 위해.
• 특히 공간 변환기를 통한 명시적 인과 분해가 강력한 객체 표현 학습에 영향을 주는지 조사하기 위해.
• 특히 복잡한 추적 시나리오에서의 처리 능력에 한계를 밝혀내기 위해.

제안 방법

• 다양한 객체 역학과 상호작용을 시뮬레이션하기 위해 절차적으로 생성된 비디오 시퀀스를 사용하여 새로운 벤치마크 데이터셋을 개발하였다.
• 원래 정적 이미지 전용으로 설계된 MONet를 시간적 시퀀스를 처리할 수 있도록 개선하여 MONet-Video로 확장하였다.
• 공간 혼합 모델과 클러스터링을 사용하여 비디오에서 객체 슬롯을 추론하는 OP3를 적응시켜 동적 객체 탐지 기능을 구현하였다.
• 특성의 객체별 표현으로 분해하기 위해 공간 변환기를 활용하는 TBA를 통합하였다.
• 감지, 분할, 추적 성능를 포함한 인지 능력의 정량적 평가를 위해 다중 객체 추적을 대체 지표로 사용하여 모든 모델을 동일한 벤치마크에서 평가하였다.
• 감지 정확도, 분할 품질, 추적 안정성 등에서의 성능 비교를 위해 통합 평가 프로토콜을 사용하였다.

실험 결과

연구 질문

• RQ1 최신 비지도 객체 중심 비디오 모델들이 객체 감지 및 배경-객체 분할과 같은 기본 인지 능력에서 어떻게 비교되는가?
• RQ2 특히 공간 변환기를 통한 명시적 인과 분해가 학습된 객체 표현의 품질에 얼마나 영향을 주는가?
• RQ3 다중 객체 추적은 객체 중심 비디오 표현 학습에서 핵심 인지 능력을 평가하는 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ4 차폐, 객체 융합, 복잡한 운동을 수반하는 도전적인 추적 시나리오에서 모델들은 어떻게 성능을 내는가?
• RQ5 제약 없는 잠재 표현과 전체 이미지 마스크는 객체 중심 비디오 표현 학습 향상에 어떤 역할을 하는가?

주요 결과

• 제약 없는 잠재 표현과 전체 이미지 객체 마스크를 사용하는 모델들, 예를 들어 MONet-Video와 OP3는 TBA보다 객체 감지 및 분할에서 뛰어난 성능을 보였다.
• 공간 변환기를 사용하는 TBA는 명시적 인과 분해를 통해 설계되었지만, 특히 복잡한 시나리오에서 객체 감지 및 분할 성능이 열등했다.
• 모든 모델가 차폐 및 객체 융합을 포함한 도전적인 조건에서 장기적인 추적 성능을 유지하지 못해, 내구성 측면에서 여전히 격차가 있음을 시사했다.
• 제안된 합성 비디오 벤치마크는 인지 능력의 차이를 효과적으로 드러내며 현재 비지도 비디오 표현 학습 방법의 한계를 드러내었다.
• 결과적으로 제약 없는 잠재 공간 모델링이 공간 인과 분해보다 일반화된 객체 중심 표현 학습에 더 효과적일 수 있음을 시사한다.
• 벤치마크는 향후 더 강력하고 인지적으로 정확한 비지도 비디오 객체 학습을 향한 연구를 이끄는 데 유용한 도구를 제공한다.