[논문 리뷰] SPACE: A Simulator for Physical Interactions and Causal Learning in 3D Environments

Jiafei Duan, Samson Yu외 1명|arXiv (Cornell University)|2021. 08. 13.

Human Pose and Action Recognition참고 문헌 31인용 수 4

한 줄 요약

이 논문은 인공지능에서 인과적 추론을 향상시키기 위해 기본적인 물리적 상호작용—용기 안에 담기, 안정성, 접촉—을 다루는 3D 시뮬레이터이자 합성 영상 데이터셋인 SPACE를 소개한다. 커리큘럼 학습 방식을 사용해 물리 기반 모델(PhyDNet)을 SPACE에서 사전 훈련함으로써, 실제 행동 데이터셋에서 검증 손실이 크게 감소하여 기본적인 물리적 상호작용을 학습함으로써 직관적 물리적 추론의 강건성이 향상됨을 입증한다.

ABSTRACT

Recent advancements in deep learning, computer vision, and embodied AI have given rise to synthetic causal reasoning video datasets. These datasets facilitate the development of AI algorithms that can reason about physical interactions between objects. However, datasets thus far have primarily focused on elementary physical events such as rolling or falling. There is currently a scarcity of datasets that focus on the physical interactions that humans perform daily with objects in the real world. To address this scarcity, we introduce SPACE: A Simulator for Physical Interactions and Causal Learning in 3D Environments. The SPACE simulator allows us to generate the SPACE dataset, a synthetic video dataset in a 3D environment, to systematically evaluate physics-based models on a range of physical causal reasoning tasks. Inspired by daily object interactions, the SPACE dataset comprises videos depicting three types of physical events: containment, stability and contact. These events make up the vast majority of the basic physical interactions between objects. We then further evaluate it with a state-of-the-art physics-based deep model and show that the SPACE dataset improves the learning of intuitive physics with an approach inspired by curriculum learning. Repository: https://github.com/jiafei1224/SPACE

연구 동기 및 목표

• 일상적인 물리적 상호작용(예: 용기 안에 담기, 안정성, 접촉)에 중점을 둔 합성 데이터셋의 부족을 해결하기 위해.
• 정확한 역학을 갖춘 다양한 실제적인 물리적 상호작용을 생성할 수 있는 물리 기반 3D 시뮬레이터(SPACE)를 개발하기 위해.
• 세 가지 기본적인 물리적 상호작용 유형에 대해 15,000개 이상의 고유 영상과 200만 프레임을 포함한 대규모 영상 데이터셋(SPACE 데이터셋)을 구축하기 위해.
• SPACE 데이터셋에서 사전 훈련한 후 실세계 행동 예측 작업에서 물리 기반 딥러닝 모델의 성능 향상 여부를 평가하기 위해.
• 기본적인 물리적 상호작용(용기 안에 담기, 안정성, 접촉)에서 사전 훈련한 후 실세계 데이터셋에서 미세조정하는 커리큘럼 학습 방식의 효과를 검증하기 위해.

제안 방법

• SPACE 시뮬레이터는 구성 가능한 물체 기하학, 재질, 환경 조건를 사용한 물리 기반 시뮬레이션을 통해 3D 물리적 상호작용을 생성한다.
• 이 시뮬레이터는 각 프레임에 대해 RGB, 물체 세그멘테이션, 옵티컬 플로우, 깊이, 표면 법선 벡터 등 다양한 모odalities를 갖는 영상을 생성한다.
• SPACE 데이터셋은 세 가지 물리적 상호작용 유형—용기 안에 담기(예: 물체가 용기 안에 있는 경우), 안정성(예: 쌓인 물체), 접촉(예: 밀거나 접촉하는 경우)—에 걸쳐 15,000개의 고유 영상으로 구성되어 있다.
• 최신의 물리 기반 모델인 PhyDNet은 티처 포싱과 적응형 학습률 스케줄링을 사용해 SPACE 데이터셋에서 사전 훈련된다.
• 실세계 행동 영상에서의 미세조정을 위해 커리큘럼 학습 기반 설정을 사용하며, 모델은 먼저 SPACE에서 사전 훈련되고 나서 UCF101 데이터셋에서 미세조정된다.
• 평가에서는 45개의 예측 프레임에 대해 평균 제곱오차(MSE)를 사용하여 생성된 프레임을 진짜값과 비교한다.

실험 결과

연구 질문

• RQ1 합성 3D 시뮬레이터가 일상적인 인간-물체 상호작용을 대표하는 다양한 물리적으로 정확한 상호작용을 생성할 수 있는가?
• RQ2 기본적인 물리적 상호작용(용기 안에 담기, 안정성, 접촉)에서 사전 훈련하면 실세계 영상 예측 작업에서 물리 기반 모델의 성능 향상이 이루어지는가?
• RQ3 각 개별 물리적 상호작용 유형(용기 안에 담기, 안정성, 접촉)의 기여도가 강건한 물리 역학 학습에 필수적인가?
• RQ4 기본적인 물리적 상호작용에서 사전 훈련한 후 복잡한 실세계 행동에 대해 미세조정하는 커리큘럼 학습 방식이 모델 일반화 능력을 얼마나 향상시키는가?
• RQ5 SPACE 데이터셋은 CLEVRER, CoPhy, CATER와 같은 기존 데이터셋과 비교해 물리적 상호작용의 복잡성과 모델 성능 측면에서 어떻게 다른가?

주요 결과

• SPACE 데이터셋에서 사전 훈련한 후 UCF101 데이터셋에서 검증 손실이 크게 감소하여, 30 에포크의 미세조정 후 가장 낮은 MSE를 기록했다.
• 모든 세 가지 SPACE 작업(용기 안에 담기, 안정성, 접촉)에서 사전 훈련한 실험 설정이 개별 작업 사전 훈련보다 우수하여, 세 가지 모두 강건한 물리 역학 학습에 필수적임을 시사한다.
• UCF101에서만 사전 훈련한 모델보다 SPACE에서 사전 훈련한 모델이 더 낮은 검증 MSE를 기록하여, 합성 데이터가 물리적 추론에 유리함을 입증한다.
• 세 가지 SPACE 작업(용기 안에 담기, 안정성, 접촉) 각각을 개별적으로 사전 훈련한 결과는 병합된 사전 훈련보다 성능이 열 劣하므로, 세 상호작용 유형이 상호 보완적임을 확인한다.
• SPACE에서 사전 훈련한 후 UCF101에서 미세조정하는 커리큘럼 학습 방식은 실세계 행동 예측 작업에서 더 빠른 수렴과 더 나은 일반화를 이끌었다.
• SPACE 데이터셋은 PhyDNet이 더 정확한 물리 역학을 학습하도록 도와주었으며, 모든 미세조정 시나리오에서 낮은 MSE로 이를 입증했다.