[논문 리뷰] 3D-PhysNet: Learning the Intuitive Physics of Non-Rigid Object Deformations

Zhihua Wang, Stefano Rosa외 4명|arXiv (Cornell University)|2018. 04. 25.

Human Pose and Action Recognition참고 문헌 19인용 수 9

한 줄 요약

3D-PhysNet는 단일 2.5차원 깊이 이미지에서 물체의 3차원 비탄성 변형을 예측하기 위한 조건부 VAE-GAN 아키텍처를 제안한다. 이는 재질 탄성 및 적용된 힘과 같은 연속적인 물리적 성질에 조건을 부여한다. 이는 재질, 형태, 힘 조건 간에 높은 일반화 능력을 유지하면서도 실시간 추론을 구현하며, 전통적인 FEM 시뮬레이션보다 빠르면서도 뛰어난 정확도를 확보한다. 합성 및 실제 데이터에서 모두 성능을 냈다.

ABSTRACT

The ability to interact and understand the environment is a fundamental prerequisite for a wide range of applications from robotics to augmented reality. In particular, predicting how deformable objects will react to applied forces in real time is a significant challenge. This is further confounded by the fact that shape information about encountered objects in the real world is often impaired by occlusions, noise and missing regions e.g. a robot manipulating an object will only be able to observe a partial view of the entire solid. In this work we present a framework, 3D-PhysNet, which is able to predict how a three-dimensional solid will deform under an applied force using intuitive physics modelling. In particular, we propose a new method to encode the physical properties of the material and the applied force, enabling generalisation over materials. The key is to combine deep variational autoencoders with adversarial training, conditioned on the applied force and the material properties. We further propose a cascaded architecture that takes a single 2.5D depth view of the object and predicts its deformation. Training data is provided by a physics simulator. The network is fast enough to be used in real-time applications from partial views. Experimental results show the viability and the generalisation properties of the proposed architecture.

연구 동기 및 목표

• 로봇공학 및 AR 응용 분야에서 부분적인 깊이 시각 정보로부터 실시간 3차원 비탄성 물체 변형을 예측할 수 있도록 하는 것.
• 재질 및 힘 성질과 같은 연속적인 실수 조건 입력을 사용하여 탄성 물체의 물리적 반응을 모델링하는 것.
• 각 재질에 맞는 미세조정 없이도 다양한 재질, 형태, 힘 구성 조건에 일반화할 수 있도록 하는 것.
• 전통적인 FEM 시뮬레이션의 한계를 극복하여 메esh 전체 데이터가 필요로 하고 실시간 사용에 계산 비용이 너무 큰 문제를 해결하는 것.
• 입력이 불완전한 경우에도 안정적인 예측을 위해 먼저 부분 시각에서 3차원 형태를 복원하는 후속 단계를 포함한 계층적 아키텍처를 개발하는 것.

제안 방법

• 핵심 아키텍처는 변형 예측을 분리된 구조적 잠재 공간에서 모델링하기 위해 조건부 변분 오토인코더(cVAE)와 생성적 적대 신경망(GAN)을 조합한다.
• 재질 탄성, 힘 강도, 힘 작용 위치와 같은 물리적 조건은 연속적인 실수 벡터로 인코딩되어 물리적 매개변수 간의 미세한 일반화를 가능하게 한다.
• 계층적 파이프라인은 먼저 부분적인 깊이 시각에서 전체 3차원 형태를 복원하는 3D 복원 GAN(3D-RecGAN)을 사용한 후, 3D-PhysNet를 통해 변형을 예측한다.
• 훈련은 FEM 기반 물리 시뮬레이터로 생성된 합성 데이터를 사용하여 대규모, 다양한, 정밀한 지도 학습을 가능하게 한다.
• GAN의 판별기는 고수준의 특징 유사도 메트릭을 학습하여 예측된 변형의 현실성과 구조적 정확도를 향상시킨다.
• 힘 작용 위치는 원-핫 벡터 또는 연속적인 실수로 인코딩되며, 분석 결과 연속적 인코딩이 미리 보지 못한 힘 위치로의 일반화 능력을 더 잘 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 단일 부분 깊이 시각에서 재질과 형태 간에 높은 정확도와 일반화 능력을 확보하면서 3차원 비탄성 변형을 예측할 수 있는가?
• RQ2 탄성, 힘 강도, 위치와 같은 연속적인 물리적 매개변수를 조건으로 사용하는 것과 이산 클래스 기반 조건 부여 방식을 비교했을 때, 일반화 능력과 성능에 어떤 차이가 있는가?
• RQ3 부분적인 입력 시각에서 3차원 형태를 복원하는 과정을 포함한 계층적 아키텍처는 변형 예측 성능에 얼마나 기여하는가?
• RQ4 훈련 중에 볼 수 없었던 물체 카테고리와 실제 깊이 이미지에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 FEM 시뮬레이션과 비교해도 품질을 유지하면서 실시간 추론 속도를 확보할 수 있는가?

주요 결과

• 모델은 척도 변화에 대한 일반화에서 평균 IOU(교차율)가 0.98을 기록하여 물체 크기 변화에 매우 강건함을 입증했다.
• 힘 강도 및 위치 일반화에 있어서, 연속적 인코딩은 IOU 0.9를 기록했고, 원-핫 인코딩은 0.95를 기록하여 연속적 조건 부여 방식이 더 나은 일반화 성능을 보임을 시사한다.
• 계층적 아키텍처(Cascaded-3D-PhysNet)는 초기 단계에서 3D-RecGAN에 의해 향상된 3차원 복원 품질 덕분에 엔드 투 엔드 학습보다 더 빠른 수렴과 더 나은 성능을 달성한다.
• 모델은 미리 훈련된 실린더형 물체에 대해 다양한 새로운 형태, 장난감 및 복잡한 기하학적 형태까지도 효과적으로 일반화하여 변형을 예측할 수 있었다.
• 실제 Microsoft Kinect에서 확보한 깊이 이미지에 대한 정성적 결과에서는, 단순한 기하 형태에서도 끈적임, 다리, 발과 같은 구조적 특징을 포함한 타당한 변형을 예측하였다.
• 추론 속도는 동등한 FEM 시뮬레이션보다 1,000배 이상 빠르며, 시간 민감도가 높은 응용 분야에서 실시간 배포가 가능하다.