[논문 리뷰] Flexible Neural Representation for Physics Prediction

Damian Mrowca, Chengxu Zhuang외 5명|arXiv (Cornell University)|2018. 06. 21.

Human Pose and Action Recognition참고 문헌 46인용 수 86

한 줄 요약

본 논문은 계층적 입자 그래프를 활용한 계층적 관계 네트워크(HRN)를 도입하여 강체 및 변형 가능한 물체를 포함한 복잡한 물리 현상을 예측하고, 장기적인 신뢰 가능한 동역학과 학습 시나리오를 넘어서는 강한 일반화를 달성한다.

ABSTRACT

Humans have a remarkable capacity to understand the physical dynamics of objects in their environment, flexibly capturing complex structures and interactions at multiple levels of detail. Inspired by this ability, we propose a hierarchical particle-based object representation that covers a wide variety of types of three-dimensional objects, including both arbitrary rigid geometrical shapes and deformable materials. We then describe the Hierarchical Relation Network (HRN), an end-to-end differentiable neural network based on hierarchical graph convolution, that learns to predict physical dynamics in this representation. Compared to other neural network baselines, the HRN accurately handles complex collisions and nonrigid deformations, generating plausible dynamics predictions at long time scales in novel settings, and scaling to large scene configurations. These results demonstrate an architecture with the potential to form the basis of next-generation physics predictors for use in computer vision, robotics, and quantitative cognitive science.

연구 동기 및 목표

• 유연하고 물체 중심의 표현을 개발하여 임의의 강체 및 비강체 재료를 포착할 수 있다.
• 복잡한 다중 객체 장면에서 물리 동역학을 예측하기 위한 확장 가능한 신경 아키텍처를 개발한다.
• 장기 horizon 예측 및 본 적 없는 형태와 상호 작용에 대한 일반화를 가능하게 한다.
• 학습된 재료 특성과 계층적 추론을 통합하여 기준선보다 정확도를 향상시킨다.

제안 방법

• 각 물체를 형태와 재료 변화를 포착하는 계층 그래프를 형성하는 파티클 집합으로 표현한다.
• 잎-조상, 형제 간, 조상-자손 간의 세 단계의 계층 그래프 컨볼루션으로 효과를 효율적으로 전파한다.
• 외력(phi_F), 충돌(phi_C), 이력(phi_H)에 대한 별도 신경 모듈을 두고, 그 다음 계층적 전파(eta)와 상태 예측자(psi)를 따른다.
• 로컬(입자당), 글로벌(전체 물체), 거리 보존 항을 결합한 복합 손실로 물리적 제약을 강제 학습한다.
• NVIDIA FleX를 Unity3D에서 사용하는 입자 기반 환경으로 학습 데이터를 생성하고 물리학을 데이터에서 배운 재료 관계를 학습한다.

실험 결과

연구 질문

• RQ1 HRN이 강체, 연성, 변형 가능한 물체를 포함하는 장면에서 미래 상태를 예측할 수 있는가? 복잡한 충돌을 포함하는가?
• RQ2 계층적 그래프 구조가 평면 그래프나 MLP 기반 기준선에 비해 정확도와 확장성을 향상시키는가?
• RQ3 HRN이 보지 못한 형태, 재료 및 다물체 상호 작용에 얼마나 잘 일반화되는가?
• RQ4 손실 구성요소(로컬/글로벌/보존) 및 다단계 입력이 예측 정확도에 미치는 영향은 무엇인가?

주요 결과

• HRN은 복잡한 충돌 및 비강체 변형을 정확하게 처리하고 장기적으로 그럴듯한 동역학을 생성한다.
• 계층적 표현과 3단계 전파가 기준선인 MLP, 완전 연결 그래프, 비계층 모델보다 우수하다.
• 변형성, 별도 모듈, 보존/글로벌 손실의 중요성을 확인하는 변형 연구가 예측 품질에 기여한다.
• HRN은 보지 못한 형태, 재료 및 다물체 시나리오(탑과 도미노와 같은 설정 포함)에 일반화한다.