[논문 리뷰] Occlusion resistant learning of intuitive physics from videos

Ronan Riochet, Josef Šivic외 2명|arXiv (Cornell University)|2020. 04. 30.

Human Pose and Action Recognition참고 문헌 42인용 수 7

한 줄 요약

이 논문은 3D 물체 상태를 잠재 변수로 모델링하고, 순환 상호작용 네트워크와 미분 가능 조합 렌더러를 조합하여, 상당한 물체 간 겹침이 있는 영상에서 직관적 물리학을 확률적이고 구성적인 프레임워크로 학습하는 방법을 제안한다. 이 방법은 IntPhys 벤치마크에서 최신 기술 수준의 성능을 달성하며, 노이즈가 있는 물체 검출기로도 실생활 영상에서 최대 30 프레임 앞선 정확한 세그멘테이션 마스크를 예측할 수 있다.

ABSTRACT

To reach human performance on complex tasks, a key ability for artificial systems is to understand physical interactions between objects, and predict future outcomes of a situation. This ability, often referred to as intuitive physics, has recently received attention and several methods were proposed to learn these physical rules from video sequences. Yet, most of these methods are restricted to the case where no, or only limited, occlusions occur. In this work we propose a probabilistic formulation of learning intuitive physics in 3D scenes with significant inter-object occlusions. In our formulation, object positions are modeled as latent variables enabling the reconstruction of the scene. We then propose a series of approximations that make this problem tractable. Object proposals are linked across frames using a combination of a recurrent interaction network, modeling the physics in object space, and a compositional renderer, modeling the way in which objects project onto pixel space. We demonstrate significant improvements over state-of-the-art in the intuitive physics benchmark of IntPhys. We apply our method to a second dataset with increasing levels of occlusions, showing it realistically predicts segmentation masks up to 30 frames in the future. Finally, we also show results on predicting motion of objects in real videos.

연구 동기 및 목표

• 상당한 물체 간 겹침이 있는 3D 시나리오에서 일반적인 방법으로 직관적 물리학을 학습하는 것을 목표로 한다.
• 부분적 또는 완전한 겹침이 존재하는 상황에서도 물체 역학과 세그멘테이션 마스크의 정확한 장기 예측을 가능하게 하는 것.
• 학습 중에 참조 프레임 간 대응 관계나 정밀한 3D 애너테이션을 필요로 하지 않는 모델을 훈련하는 것.
• 사전 훈련된 물체 검출기의 노이즈가 있는 출력만을 사용하여 실생활 영상으로 일반화하는 것.
• 겹침으로 인한 데이터 누락에 대해 강건성을 유지하면서도 예측의 물리적 타당성을 유지하는 것.

제안 방법

• 겹침 상황에서 시나리오를 재구성하기 위해 3D 물체 위치와 속도를 잠재 변수로 모델링한다.
• 시간적 일관성을 강제하기 위해 물체 공간에서 물리적 역학을 모델링하는 순환 상호작용 네트워크를 사용한다.
• 2D 픽셀 공간에 3D 물체 상태를 투영하기 위해 미분 가능 조합 렌더러를 활용하여 관측된 프레임과 일치시킨다.
• 물리학 및 렌더링 손실을 통합 최적화하여 가장 가능성이 높은 물체 궤적을 추론한다.
• 참조 세그멘테이션 없이 사전 훈련된 마스크 검출기의 물체 제안을 활용하여 시나리오 상태를 초기화한다.
• 확률적 추론 문제를 처리 가능하게 하기 위해 근사치를 적용하여 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 물체 위치가 관측되지 않는 상황에서, 상당한 물체 간 겹침이 있는 3D 시나리오에서 모델이 물리적 역학을 학습할 수 있는가?
• RQ2 학습 시 겹침을 포함시키는 것이 모델의 향후 물체 상태 예측 능력에 어떤 영향을 미치는가?
• RQ3 정밀한 세그멘테이션 없이, 뿐만 아니라 노이즈가 있는 물체 검출기 출력만을 사용하여 실생활 영상으로 일반화할 수 있는가?
• RQ4 완전한 3D Descartes 좌표계 대신 2.5D 투영 표현(예: xy + 깊이)을 사용할 경우 예측 성능이 떨어지는가?
• RQ5 모델의 구성적 구조가 다양한 수의 물체와 장기 예측에 얼마나 잘 기여하는가?

주요 결과

• 모델은 IntPhys 벤치마크에서 기존 방법들, 특히 Riochet 등(2018)과 Smith 등(2019)의 방법을 능가하는 최신 기술 수준의 성능을 달성한다.
• 증가하는 겹침 수준을 가진 합성 데이터셋에서 최대 30 프레임 앞선 세그멘테이션 마스크를 높은 정확도로 예측한다.
• 합성 상단 시점 PyBullet 영상만으로 훈련된 모델이, 정밀한 미세조정 없이도 실생활 Kinect2 영상(색깔 구슬과 블록)으로 일반화된다.
• 완전한 3D Descartes 좌표계 대신 2.5D 투영 기반 참조(예: xy + 깊이)를 사용해도 성능이 유사하게 유지되어, 투영 기하학이 기본적인 장애물이 되지 않는다는 것을 시사한다.
• 절단 실험을 통해 물리학 손실과 렌더링 손실 모두가 성능 향상에 기여하며, 각각이 중요한 역할을 한다는 것이 확인된다.
• 노이즈가 있는 마스크 검출기 출력으로도 효과적으로 작동하여, 참조 세그멘테이션 없이 실생활 영상에서 엔드 투 엔드 학습을 위한 첫걸음임을 보여준다.