[논문 리뷰] SIMONe: View-Invariant, Temporally-Abstracted Object Representations via Unsupervised Video Decomposition

Rishabh Kabra, Daniel Zoran외 6명|arXiv (Cornell University)|2021. 06. 07.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

SIMONe는 변환기 기반의 주의 메커니즘을 사용하여 시간에 따라 변하는 시점과 전체 장면 요소로부터 시점에 영향을 받지 않는 물체 표현을 분리하는 비지도 변분 영상 모델을 제안한다. 이 모델은 시점에 관계없이 일관되며 시간적으로 요약된 물체 특징을 얻고, 지도 학습이나 3D 가정 없이도 새로운 장면 조합과 시점 합성 기능을 가능하게 한다.

ABSTRACT

To help agents reason about scenes in terms of their building blocks, we wish to extract the compositional structure of any given scene (in particular, the configuration and characteristics of objects comprising the scene). This problem is especially difficult when scene structure needs to be inferred while also estimating the agent's location/viewpoint, as the two variables jointly give rise to the agent's observations. We present an unsupervised variational approach to this problem. Leveraging the shared structure that exists across different scenes, our model learns to infer two sets of latent representations from RGB video input alone: a set of "object" latents, corresponding to the time-invariant, object-level contents of the scene, as well as a set of "frame" latents, corresponding to global time-varying elements such as viewpoint. This factorization of latents allows our model, SIMONe, to represent object attributes in an allocentric manner which does not depend on viewpoint. Moreover, it allows us to disentangle object dynamics and summarize their trajectories as time-abstracted, view-invariant, per-object properties. We demonstrate these capabilities, as well as the model's performance in terms of view synthesis and instance segmentation, across three procedurally generated video datasets.

연구 동기 및 목표

• 지도 학습 없이 비구조화된 RGB 영상에서 구성적이고 물체 중심의 장면 표현을 학습하는 것.
• 정적 물체 특성(예: 모양, 색상)을 동적 시점 및 전체 장면 변화로부터 분리하는 것.
• 카메라 운동과 무관하게 시간적으로 요약되고 시점과 분리된 방식으로 물체 궤적을 요약하는 것.
• 다른 장면의 물체 잠재 변수와 새로운 시점의 프레임 잠재 변수를 조합하여 장면 편집 및 새로운 시점 합성 기능을 제공하는 것.
• 명시적인 3D 기하학, 역학 모델, 또는 전용 렌더러 없이 영상 데이터와 구조적 잠재 변수만을 사용하여 이를 달성하는 것.

제안 방법

• 시간에 따라 변하지 않는 물체 수준의 잠재 변수와 시간에 따라 변하는 프레임 수준의 잠재 변수를 분리하는 구조적 잠재 공간을 가진 변분 오토인코더를 사용한다.
• 공간적 및 시간적 종속성을 동시에 모델링하기 위해 스파티오-시간 주의 메커니즘을 갖춘 변환기 기반 인코더를 사용한다.
• 픽셀 수준의 재구성에 고려된 혼합 정규분포 모델을 활용하여 물체 마스크와 외관 예측을 분리 가능하게 한다.
• 개별 초모수(βo, βf)를 사용하여 객체 및 프레임 잠재 변수의 용량을 균형 잡고 분리도를 향상시키기 위해 KL 정규화를 적용한다.
• 한 장면의 물체 잠재 변수와 다른 장면의 프레임 잠재 변수를 전송하여 새로운 일관된 시점의 영상을 생성함으로써 장면 조합을 가능하게 한다.
• 재구성 손실과 KL 발산을 최적화하여 분리도와 생성 정확도를 동시에 향상시키기 위해 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 비지도 모델이 RGB 영상만으로도 시점에 영향을 받지 않는 시간적으로 요약된 물체 표현을 학습할 수 있는가?
• RQ2 지도 학습 없이도 물체 잠재 변수가 시점 및 전체 장면 역학으로부터 얼마나 잘 분리될 수 있는가?
• RQ3 다른 장면의 물체 잠재 변수와 새로운 프레임 잠재 변수를 조합하여 새로운 장면 조합에 일반화할 수 있는가?
• RQ4 영상 입력만으로도 다양한 시점에서의 새로운 장면 시점 합성 성능이 얼마나 우수한가?
• RQ5 정확한 자세 정보나 역학 모델 없이도 카메라 운동과 독립적으로 물체 궤적을 추론하고 분리할 수 있는가?

주요 결과

• SIMONe는 세 가지 프로시저적으로 생성된 영상 데이터셋에서 비지도 시점 합성 및 장면 표현 학습 분야에서 최신 기준 성능을 달성한다.
• 카메라 자세 및 조명 변화로부터 물체 특성(예: 모양, 색상, 위치)을 성공적으로 분리하여 다양한 시점에서 일관된 물체 추적을 가능하게 한다.
• 프레임 잠재 변수는 카메라 위치 및 방향을 조절하는 트래버설을 통해 의미 있는 시점 관련 변화를 포착하고 있으며, 물체 콘텐츠는 변화하지 않는다.
• 다른 장면의 물체 잠재 변수를 조합하여 적절한 물체 배열과 세그멘테이션을 가진 자연스러운 새로운 장면을 생성할 수 있으며, K=16 미만의 물체에서도 성능이 유지된다.
• 微fine-tuning 없이도 새로운 시점과 장면 편집에 일반화되어 있어 강건성과 구성적 일반화 능력을 입증한다.
• 정량적 비교 결과, SIMONe-VS는 로그우도와 재구성 품질에서 GQN과 NeRF-VAE를 능가하며, 프레임 잠재 변수로부터의 카메라 자세 예측에 대해 강력한 R² 점수를 기록한다.