[논문 리뷰] Unsupervised Video Decomposition using Spatio-temporal Iterative Inference

Polina Zablotskaia, Edoardo Alberto Dominici외 2명|arXiv (Cornell University)|2020. 06. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 7

한 줄 요약

이 논문은 2D-LSTM, 시간에 따라 조절되는 추론, 그리고 보상 후행 개선을 사용하여 다중 객체 표현과 시간적 의존성을 함께 모델링함으로써 비지도 비디오 분해를 가능하게 하는 새로운 시공간 반복 추론 프레임워크인 ST-IODINE을 제안한다. Bouncing Balls 및 CLEVRER와 같은 벤치마크에서 색상 정보가 없더라도 객체 역학의 개선된 모델링과 엔트로피 정규화 항 덕분에 분할, 재구성, 궤적 예측에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Unsupervised multi-object scene decomposition is a fast-emerging problem in representation learning. Despite significant progress in static scenes, such models are unable to leverage important dynamic cues present in video. We propose a novel spatio-temporal iterative inference framework that is powerful enough to jointly model complex multi-object representations and explicit temporal dependencies between latent variables across frames. This is achieved by leveraging 2D-LSTM, temporally conditioned inference and generation within the iterative amortized inference for posterior refinement. Our method improves the overall quality of decompositions, encodes information about the objects' dynamics, and can be used to predict trajectories of each object separately. Additionally, we show that our model has a high accuracy even without color information. We demonstrate the decomposition, segmentation, and prediction capabilities of our model and show that it outperforms the state-of-the-art on several benchmark datasets, one of which was curated for this work and will be made publicly available.

연구 동기 및 목표

• 기존의 비지도 비디오 분해 모델이 프레임을 독립적으로 처리하여 객체 간 시간적 의존성을 모델링하지 못하는 한계를 해결하기 위해.
• 감독 없이도 원시 비디오에서 분리된 픽셀 수준의 표현과 객체 역학을 함께 학습할 수 있도록 하기 위해.
• 다양한 수의 객체가 존재하는 시나리오로의 일반화 능력을 향상시키고, 저색상 또는 Grayscale 환경에서도 강건성을 높이기 위해.
• 시간 조절된 추론과 조건부 사전 분포를 갖는 변분 추론을 통해 궤적 예측의 정확성과 안정적인 추론을 달성하기 위해.
• 복잡한 비선형 객체 운동을 모델링하는 데 있어 2D-LSTM 기반의 시공간 추론 기반 기법의 효과성을 입증하기 위해.

제안 방법

• 모델은 IODINE을 확장하여 2D-LSTM을 도입하여 시간에 따라 프레임 간 시공간적 의존성을 인코딩함으로써 시간에 걸쳐 잠재 변수를 공동으로 추론할 수 있도록 한다.
• 조건부 사전과 생성을 갖춘 시간에 따라 조절되는 변분 추론을 사용하여 프레임 간 후행 추정치를 개선한다.
• 잠재 슬롯 표현의 공간 정밀도를 유지하면서 계산 비용을 줄이기 위해 효율적인 삼각형 격자 구조를 사용한다.
• 외관 정보가 부족한 저대비 또는 회색조 환경에서 분리도를 향상시키기 위해 새로운 엔트로피 정규화 항을 도입한다.
• VAE 유사 아키텍처 내에서 보상 반복 추론을 사용하여 재구성, 분할, 역학 모델링을 공동 최적화한다.
• 모델은 비디오 시퀀스를 엔드 투 엔드로 훈련하며, 객체가 장면에 진입하거나 퇴장할 때 잠재 슬롯을 동적으로 할당하도록 학습한다.

실험 결과

연구 질문

• RQ1 시공간 반복 추론 프레임워크가 객체 표현 간 시간적 의존성을 모델링하여 비지도 비디오 분해 성능을 향상시킬 수 있는가?
• RQ2 2D-LSTM과 조건부 사전의 통합이 다중 객체 비디오 시나리오에서 분할 및 재구성 품질에 어떤 영향을 미치는가?
• RQ3 이 모델은 수가 동적으로 변화하는 객체 수의 시나리오와 색상 정보가 없는 환경으로의 일반화 능력이 어느 정도인가?
• RQ4 엔트로피 정규화 항의 포함이 저대비 설정에서 분리도와 성능 향상에 기여하는가?
• RQ5 R-NEM 및 IODINE와 같은 최신 기술 대비 모델의 객체 궤적 예측 능력은 어떻게 비교되는가?

주요 결과

• 이진(grayscale) 데이터를 사용한 Bouncing Balls 데이터셋에서 모델은 ARI 0.4453과 F-ARI 0.9999를 기록하며, R-NEM(ARI: 0.4484, F-ARI: 0.6377)과 IODINE(F-ARI: 0.9969)를 뛰어넘는 성능을 보였다.
• 8가지 고유 색상이 있는 Bouncing Balls의 색상 변형 버전에서 모델은 MSE 0.0114와 F-ARI 0.9900을 달성했으며, IODINE(MSE: 0.0281, F-ARI: 0.7197)와 R-NEM을 모두 능가했다.
• CLEVRER 벤치마크에서 모델은 ARI 0.2839와 MSE 0.0004를 기록했으며, IODINE(ARI: 0.2205, MSE: 0.0006)와 SEQ-IODINE(ARI: 0.1482, MSE: 0.0012)를 모두 초월했다.
• 제거 실험 결과, 엔트로피 정규화, 조건부 사전 및 생성, 40프레임 시퀀스를 포함한 전체 모델이 최고의 성능(ARI: 0.7263, F-ARI: 0.9999, MSE: 0.0004)을 기록했다.
• 모델은 일반화 능력이 뛰어나, 슬롯 수를 5에서 9로 늘린 상태에서도 6~8개의 객체가 포함된 시퀀스에서 높은 성능을 유지했다.
• 예측 결과는 짧은 시퀀스에서 R-NEM을 능가했으며, CLEVRER에서 오차가 시간이 지남에 따라 감소하는 등 낮은 오차율을 유지했다.