[논문 리뷰] Unsupervised object-centric video generation and decomposition in 3D

Paul Henderson, Christoph H. Lampert|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|2020. 07. 07.

Advanced Vision and Imaging참고 문헌 47인용 수 4

한 줄 요약

이 논문은 3D 공간에서 명시적으로 추론하는 최초의 비지도, 객체 중심의 동영상 생성 모델인 O3V를 제안한다. 이 모델은 3D 애너테이션 없이 단일 카메라 영상에서 3D 객체와 배경으로 분해하는 능력을 학습한다. 카메라가 독립된 객체로 구성된 3D 장면을 이동하는 방식으로 장면를 모델링함으로써, 비디오 생성, 깊이 예측, 3D 객체 검출, 인스턴스 세그멘테이션 등에서 최신 기술을 초월하는 성능을 달성한다. 이는 2D 작업에 대해서조차도 이전 방법들을 능가한다.

ABSTRACT

A natural approach to generative modeling of videos is to represent them as a composition of moving objects. Recent works model a set of 2D sprites over a slowly-varying background, but without considering the underlying 3D scene that gives rise to them. We instead propose to model a video as the view seen while moving through a scene with multiple 3D objects and a 3D background. Our model is trained from monocular videos without any supervision, yet learns to generate coherent 3D scenes containing several moving objects. We conduct detailed experiments on two datasets, going beyond the visual complexity supported by state-of-the-art generative approaches. We evaluate our method on depth-prediction and 3D object detection -- tasks which cannot be addressed by those earlier works -- and show it out-performs them even on 2D instance segmentation and tracking.

연구 동기 및 목표

• 2D 또는 2.5D 표현에 의존하는 대신, 3D 공간에서 명시적으로 추론하는 객체 중심의 비디오 생성 모델을 개발하는 것.
• 3D 애너테이션 또는 감독 없이도 단일 영상만을 사용하여 모델을 비지도로 훈련시키는 것.
• 일관된 추적과 깊이 추정을 보장하면서도, 3D 전경 객체와 3D 배경으로 비디오를 분리 가능한 구조로 분해하는 것.
• 3D 환경 속에서 3D 객체가 움직이는 일관되고 현실적인 비디오 시퀀스를 생성하면서도, 장면 수준의 일관성을 유지하는 것.

제안 방법

• 모델은 전체 3D 장면을 나타내는 단일 잠재 변수 z를 사용하며, 이는 객체별 3D 자세, 외관 임베딩, 배경의 형태와 질감으로 디코딩된다.
• 각 객체의 외관 임베딩은 전용 디코더를 통해 3D 바이트 또는 메시 표현으로 디코딩되어 명시적인 3D 형태와 색상 모델링이 가능하다.
• 카메라 파rameters를 사용하여 객체와 배경을 미분 가능하게 렌더링하고, 알파 블렌딩을 통해 최종 비디오 프레임을 조합한다.
• 픽셀 수준의 재구성 손실과 미분 가능한 렌더러를 사용하여, 잠재 코드에서 입력 비디오를 재구성함으로써 변분 오토인코더(VAE)로 훈련된다.
• 객체를 독립적으로 모델링하고 자세와 외관을 분리함으로써 인덕티브 바이어스를 도입하여 효율적이고 구성적인 장면 표현이 가능하다.
• 구조적 디코더는 잠재 코드를 해석하여 객체 존재 지표, 3D 위치, 회전, 변형을 생성하여 현실적인 장면 레이아웃을 보장한다.

Figure 1 : Left: Our generative model of videos has a single latent variable $\mathbf{z}$ , which is decoded by $F^{\mathrm{obj}}$ to parameters of $G$ objects. The contents of the green plate are replicated once per object; the contents of the blue plate are replicated once per frame. Each object h

실험 결과

연구 질문

• RQ1 3D 감독이나 애너테이션 없이도, 비지도로 동작하는 객체 중심의 비디오 생성 모델이 단일 영상에서 3D 객체와 3D 배경으로 분해할 수 있는가?
• RQ2 2D 또는 2.5D 접근 방식과 비교해 볼 때, 3D로 장면을 모델링하면 깊이 예측, 3D 객체 검출, 인스턴스 세그멘테이션과 같은 후행 작업에서 일반화 및 성능 향상에 기여하는가?
• RQ3 단일 잠재 코드가 가능한 3D 장면 구조의 전반적인 공간을 포괄하여, 교차하는 객체 등 부자연스러운 레이아웃을 피할 수 있는가?
• RQ4 2D 스프라이트 기반 모델과 비교해 볼 때, 3D 추론은 비디오 생성 품질과 분리도에 어떤 영향을 미치는가?
• RQ5 다수의 움직이는 객체와 다양한 시점이 있는 복잡한 장면으로 일반화할 수 있는가?

주요 결과

• O3V-voxel은 'traffic' 데이터셋에서 가장 낮은 FVD, FID, KID 점수를 기록하며, GENESIS와 MONet을 포함한 모든 베이스라인을 크게 능가한다.
• 'rooms' 데이터셋에서는 O3V-voxel이 FID와 KID에서 MONet과 SCALOR를 능가하며, 자연스럽고 일관성 있는 장면을 생성하고 부자연스럽지 않은 객체 운동을 보여준다.
• O3V는 3D 객체 검출과 깊이 예측에서 최신 기술 성능을 달성했으며, 이는 이전 2D 또는 2.5D 모델이 다루지 못한 작업들이다. 이는 3D 추론의 이점이 증명된다.
• 모델은 비디오를 3D 객체와 배경으로 성공적으로 분해하여 정확한 세그멘테이션 마스크를 생성하고 시간에 걸쳐 일관된 추적을 유지한다.
• O3V-mesh는 'rooms' 데이터셋에서 O3V-voxel보다 더 낮은 FID와 KID 점수를 기록했으며, 메시 렌더링으로 인한 날카운 에지 덕분으로 보인다. 그러나 'traffic' 데이터셋에선 O3V-voxel이 더 우수한 성능을 보였다.
• 실패 케이스에서는 모델이 한 객체(예: 자동차)를 두 부분으로 나누는 경우가 있으나, 두 부분이 종종 일관되게 움직여 부분적인 분리 문제를 암시한다.

Figure 2 : Videos from (rooms) decomposed by O3V-voxel. In each block, the three rows are different frames. The columns are (left to right): input frame, reconstructed frame, reconstructed background, reconstructed foreground objects and 3D bounding boxes, ground-truth and predicted instance segment