[논문 리뷰] Visual Interaction Networks

Nicholas Watters, Andrea Tacchetti외 4명|arXiv (Cornell University)|2017. 06. 05.

Data Visualization and Analytics참고 문헌 20인용 수 69

한 줄 요약

The Visual Interaction Network (VIN)은 CNN 기반 지각 인코더와 Interaction Network 기반 다이나믹 예측기를 결합하여 원시 비디오로부터 미래 물체 상태를 예측하는 방법으로, 보이지 않는 물체를 포함한 장기 물리 예측을 가능하게 한다.

ABSTRACT

From just a glance, humans can make rich predictions about the future state of a wide range of physical systems. On the other hand, modern approaches from engineering, robotics, and graphics are often restricted to narrow domains and require direct measurements of the underlying states. We introduce the Visual Interaction Network, a general-purpose model for learning the dynamics of a physical system from raw visual observations. Our model consists of a perceptual front-end based on convolutional neural networks and a dynamics predictor based on interaction networks. Through joint training, the perceptual front-end learns to parse a dynamic visual scene into a set of factored latent object representations. The dynamics predictor learns to roll these states forward in time by computing their interactions and dynamics, producing a predicted physical trajectory of arbitrary length. We found that from just six input video frames the Visual Interaction Network can generate accurate future trajectories of hundreds of time steps on a wide range of physical systems. Our model can also be applied to scenes with invisible objects, inferring their future states from their effects on the visible objects, and can implicitly infer the unknown mass of objects. Our results demonstrate that the perceptual module and the object-based dynamics predictor module can induce factored latent representations that support accurate dynamical predictions. This work opens new opportunities for model-based decision-making and planning from raw sensory observations in complex physical environments.

연구 동기 및 목표

• 원시 시각 관찰로부터 미래 물리 상태를 예측하기 위한 범용 모델을 제공합니다.
• 정확한 장기 시퀀스 다이나믹스를 지원하는 요인화된 잠재 객체 표현을 학습합니다.
• 다양한 물리 시스템에서 시각적 노이즈와 부분 관측성에 대한 강인함을 시연합니다.

제안 방법

• 각 물체에 대해 프레임 트리플렛에서 상태 코드를 추출하기 위해 CNN 기반 시각 인코더를 사용합니다.
• 여러 시간 오프셋을 가진 Interaction Network 기반 다이나믹 예측기를 사용하여 다음 단계의 상태 코드를 예측합니다.
• 학습 대상으로 물체의 위치와 속도로 상태 코드를 해독합니다.
• 미래 단계에 대한 예측 손실과 보조 인코더 손실을 결합한 손실로 엔드-투-엔드로 학습합니다.
• 긴 구간에 걸친 롤아웃을 평가하고 상태-대-상태 및 비전 전용 모델을 포함한 기준 모델과 비교합니다.

실험 결과

연구 질문

• RQ1 지각 프런트 엔드와 물체 중심 다이나믹 예측기가 함께 학습하여 비디오에서 상태를 추론하고 미래 궤적을 예측할 수 있을까?
• RQ2 VIN은 물체 수와 부분 관측(보이지 않는 물체)에 따라 얼마나 잘 스케일링될까?
• RQ3 시간 오프셋 집계와 관계 추론이 기준 모델에 비해 장기 물리 예측을 향상시키는가?
• RQ4 모델이 시각 인코더 노이즈에 강인하고 보이지 않는 질량과 같은 숨은 양을 추론할 수 있는가?

주요 결과

• VIN은 3-object 및 6-object 씬에서 역정규화 손실 기준으로 모든 데이터세트에서 baseline을 능가합니다.
• VIN은 긴 지평선 롤아웃에서 정확한 예측을 달성하며 유클리드 예측 오차가 50단계까지 데이터세트 전반에서 낮게 유지됩니다.
• VIN은 보이는 물체에 미치는 영향으로 보이지 않는 물체의 위치를 추론할 수 있으며, 초기 롤아웃 단계에서 프레임 폭의 약 4% 이내에 있습니다.
• 충돌 없는 드리프트 시나리오에서 VIN의 성능은 관계 네트워크가 없는 제거 버전과 일치하여 상호 작용이 있을 때 관계 추론의 역할을 강조합니다.
• 학습 중 지각/노이즈 입력은 순수한 상태-대-상태 모델에 비해 장기 롤아웃의 강건성을 향상시키는 것으로 보입니다.