[논문 리뷰] Bounce and Learn: Modeling Scene Dynamics with Real-World Bounces

Senthil Purushwalkam, Abhinav Gupta외 2명|arXiv (Cornell University)|2019. 04. 01.

Human Pose and Action Recognition인용 수 10

한 줄 요약

이 논문은 단일 RGB-D 이미지와 전충돌 궤적 데이터로부터 후반동 궤적을 예측하고, 복원성 및 효과적 충돌 법선과 같은 물리적 성질을 추론하는 두 모듈로 구성된 딥러닝 모델인 Bounce and Learn을 제안한다. 실제 세계의 반동을 담은 5,000개의 영상으로 구성된 새로운 데이터셋에서 훈련된 이 모델은 시뮬레이션 기반 부트스트래핑을 통해 시각적 모듈과 물리 기반 모듈을 결합함으로써 뉴턴역학 피팅 기반 모델보다 궤적 예측 및 물리적 성질 추론 성능에서 뛰어난 성능을 보였다.

ABSTRACT

We introduce an approach to model surface properties governing bounces in everyday scenes. Our model learns end-to-end, starting from sensor inputs, to predict post-bounce trajectories and infer two underlying physical properties that govern bouncing - restitution and effective collision normals. Our model, Bounce and Learn, comprises two modules -- a Physics Inference Module (PIM) and a Visual Inference Module (VIM). VIM learns to infer physical parameters for locations in a scene given a single still image, while PIM learns to model physical interactions for the prediction task given physical parameters and observed pre-collision 3D trajectories. To achieve our results, we introduce the Bounce Dataset comprising 5K RGB-D videos of bouncing trajectories of a foam ball to probe surfaces of varying shapes and materials in everyday scenes including homes and offices. Our proposed model learns from our collected dataset of real-world bounces and is bootstrapped with additional information from simple physics simulations. We show on our newly collected dataset that our model out-performs baselines, including trajectory fitting with Newtonian physics, in predicting post-bounce trajectories and inferring physical properties of a scene.

연구 동기 및 목표

• 일상 환경인 집이나 사무실과 같은 환경에서 실제 반동을 지배하는 표면 성질을 모델링하기 위해.
• 단일 정지 이미지와 전충돌 3차원 궤적 데이터로부터 후반동 궤적을 예측하기 위해.
• 재질 회복성과 효과적 충돌 법선과 같은 두 가지 핵심 물리적 성질을 직접 시각 입력에서 추론하기 위해.
• 실제 세계 데이터와 물리 시뮬레이션을 융합하여 일반화 능력을 향상시킨 학습 프레임워크를 개발하기 위해.
• 비정형적이고 실제 세계의 장면에서 반동 역학을 연구하기 위한 벤치마크 데이터셋을 만들기 위해.

제안 방법

• 모델은 단일 RGB-D 이미지에서 복원성 및 충돌 법선과 같은 물리적 파라미터를 추정하는 시각적 추론 모듈(VISUAL INFERENCE MODULE, VIM)을 사용한다.
• 물리적 추론 모듈(PHYSICS INFERENCE MODULE, PIM)은 추론된 물리적 파라미터와 관측된 전반동 3차원 궤적을 이용하여 후반동 궤적을 예측한다.
• 모델은 다양한 표면에서 폼 볼의 반동을 촬영한 5,000개의 RGB-D 영상으로 구성된 새로 수집된 데이터셋에서 엔드 투 엔드로 훈련된다.
• 훈련 과정은 단순한 물리 시뮬레이션에서 유도된 합성 데이터를 사용하여 일반화 능력과 데이터 효율성을 향상시키기 위해 부트스트래핑된다.
• 차별 가능한 물리학 헤드를 사용하여 궤적 예측과 물리적 성질 추론을 동시에 최적화하는 프레임워크를 구축한다.
• 3차원 재구성 없이도 RGB-D 입력에서 기하학적 및 재질적 단서를 활용하여 장면 수준의 물리적 성질을 추론한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 단일 RGB-D 이미지와 전반동 운동 데이터만으로 후반동 궤적을 정확하게 예측할 수 있는가?
• RQ2 모델이 시각적 입력만으로 복원성 및 효과적 충돌 법선과 같은 물리적 성질을 어느 정도 정확하게 추론할 수 있는가?
• RQ3 실제 세계 데이터와 물리 시뮬레이션을 융합함으로써 반동 궤적 예측 성능가 어떻게 향상되는가?
• RQ4 제안된 엔드 투 엔드 모델이 뉴턴역학 기반 궤적 피팅 기법보다 우수한 성능을 보이는가?
• RQ5 모델은 다양한 재질과 형태를 지닌 비정형적 실제 세계 장면에 대해 얼마나 일반화 가능한가?

주요 결과

• Bounce and Learn 모델은 수집한 실제 세계 데이터셋에서 뉴턴역학 피팅 기반 모델 대비 뛰어난 후반동 궤적 예측 정확도를 달성하였다.
• 모델은 단일 RGB-D 이미지에서 복원성 및 효과적 충돌 법선과 같은 물리적 성질을 높은 일관성으로 성공적으로 추론하였다.
• 훈련 과정에서 물리 시뮬레이션을 통합함으로써, 새로운 반동 시나리오에 대한 일반화 능력과 성능 향상이 크게 향상되었다.
• 시각적 추론 모듈(VISUAL INFERENCE MODULE, VIM)은 훈련 중에 볼 수 없었던 새로운 장면과 재질에 대해 강력한 제로샷 일반화 성능를 보였다.
• 물리적 추론 모듈(PHYSICS INFERENCE MODULE, PIM)은 추론된 물리적 파라미터를 사용하여 에너지 손실과 각운동량 변형과 같은 복잡한 반동 역학을 효과적으로 모델링하였다.
• Bounce 데이터셋은 일상 환경에서 실제 반동 역학의 학습 기반 모델링을 위한 새로운 벤치마크를 제공한다.