[논문 리뷰] Benchmarking Unsupervised Object Representations for Video Sequences

Marissa A. Weis, Kashyap Chitta외 5명|arXiv (Cornell University)|2020. 06. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 4

한 줄 요약

이 논문은 점점 더 복잡해지는 복잡도와 도전적인 추적 시나리오를 가진 절차적 생성된 비디오 데이터셋을 사용하여 비지도 학습된 객체 중심 비디오 표현 모델을 평가하기 위한 벤치마크를 소개한다. ViMON, OP3, TBA, SCALOR 네 가지 방법을 비교한 결과, 모든 모델이 음영과 복잡한 동역학에 어려움을 겪는 바, 제약 없는 잠재 공간을 가진 모델이 공간 변환기 기반 아키텍처보다 감지, 분할, 추적에서 더 뛰어난 성능을 보였다.

ABSTRACT

Perceiving the world in terms of objects and tracking them through time is a crucial prerequisite for reasoning and scene understanding. Recently, several methods have been proposed for unsupervised learning of object-centric representations. However, since these models were evaluated on different downstream tasks, it remains unclear how they compare in terms of basic perceptual abilities such as detection, figure-ground segmentation and tracking of objects. To close this gap, we design a benchmark with four data sets of varying complexity and seven additional test sets featuring challenging tracking scenarios relevant for natural videos. Using this benchmark, we compare the perceptual abilities of four object-centric approaches: ViMON, a video-extension of MONet, based on recurrent spatial attention, OP3, which exploits clustering via spatial mixture models, as well as TBA and SCALOR, which use explicit factorization via spatial transformers. Our results suggest that the architectures with unconstrained latent representations learn more powerful representations in terms of object detection, segmentation and tracking than the spatial transformer based architectures. We also observe that none of the methods are able to gracefully handle the most challenging tracking scenarios despite their synthetic nature, suggesting that our benchmark may provide fruitful guidance towards learning more robust object-centric video representations.

연구 동기 및 목표

• 다양한 아키텍처 간에 비지도 학습된 객체 중심 비디오 표현 모델에 대한 표준화된 평가가 부족한 문제를 해결하기 위해.
• 하류 작업에 종속되지 않은 공통 벤치마크를 통해 객체 중심 모델의 인지 능력—특히 감지, 분할, 추적—을 평가하기 위해.
• 객체 중심 비디오 표현 학습에서 성능에 영향을 주는 아키텍처의 인덕티브 바이어스를 규명하기 위해.
• 음영, 재진입, 객체 융합과 같은 도전적인 추적 시나리오에서의 모델 일반화 능력을 평가하기 위해.

제안 방법

• 벤치마크는 시각적 복잡도가 점점 증가하는 네 가지 절차적 생성 비디오 데이터셋(VMDS, SpMOT, VOR, texVMDS)과 두 가지 일반화 테스트 세트로 구성되어 있다.
• 평가 프로토콜은 감지, 분할, 추적 성능을 MOTA 및 IDF1 등의 지표를 통해 정량적으로 측정하기 위해 다강인 추적(MOT) 프레임워크를 사용한다.
• 네 가지 객체 중심 모델이 평가되었다: ViMON(반복적 공간 주의), OP3(클러스터링을 통한 공간 혼합 모델링), TBA 및 SCALOR(공간 변환기 기반 인수분해).
• 모든 모델은 동일한 비디오 시퀀스와 평가 프로토콜을 사용하여 동일한 조건에서 훈련 및 테스트되어 공정한 비교를 보장한다.
• 벤치마크는 음영, 음영 후 재진입, 객체 융합과 같은 도전적인 시나리오를 포함하여 실제 비디오 역학을 시뮬레이션한다.
• 결과는 IoU 임계값을 사용하여 진짜 객체와 예측 객체를 매칭하는 데 사용되는 표준 MOT 지표를 통해 보고되며, 정밀도, 재현율, 아이덴티티 F1 스코어를 포함한다.

실험 결과

연구 질문

• RQ1 공통 평가 프로토콜 하에서 다양한 객체 중심 비디오 표현 모델이 감지, 분할, 추적 성능에서 어떻게 비교되는가?
• RQ2 제약 없는 잠재 공간 대비 명시적 공간 변환기의 아키텍처 선택이 비지도 비디오 표현 학습에서 더 나은 인지 성능를 이끌어내는가?
• RQ3 모델이 음영, 객체 융합, 재진입과 같은 도전적인 추적 시나리오로 일반화하는 정도는 어느 정도인가?
• RQ4 클러스터링이나 공간 주의와 같은 모델 설계의 인덕티브 바이어스가 객체 중심 비디오 이해에서 강건성과 정확도에 어떤 영향을 미치는가?

주요 결과

• ViMON과 같이 제약 없는 잠재 표현을 가진 모델은 모든 벤치마크 데이터셋에서 공간 변환기 기반 모델(TBA 및 SCALOR)보다 감지, 분할, 추적에서 더 뛰어난 성능을 보였다.
• OP3는 MOTA 및 IDF1 스코어 측면에서 가장 높은 정량적 성능를 달성했지만 색상 신호에 강하게 의존하며, 슬롯 수가 객체 수보다 적을 경우 거짓 양성 결과가 누적되는 경향을 보였다.
• 명시적 깊이 추론과 모달 마스크 예측을 수행하고도 TBA 및 SCALOR는 ViMON보다 성능이 열 劣하므로, 이들의 아키텍처 메커니즘이 아직 이러한 인덕티브 바이어스를 효과적으로 활용하지 못하고 있음을 시사한다.
• 모든 모델이 음영 문제를 심각하게 앓고 있으며, 합성 환경에서도 마찬가지로, 이는 동적 시각적 과제에 대한 강건성의 근본적인 격차를 보여준다.
• 벤치마크는 현재 비지도 객체 중심 모델이 복잡한 추적 역학에 대해 유연하게 일반화하지 못하고 있음을 드러내며, 더 강건한 아키텍처 설계의 필요성을 강조한다.
• 공개된 벤치마크, 코드, 랭킹표는 향후 비지도 비디오 표현 학습 분야의 비교 연구를 지원하기 위해 제공된다.