[논문 리뷰] PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification

Xuan Li, Yi-Ling Qiao외 5명|arXiv (Cornell University)|2023. 03. 09.

Human Pose and Action Recognition인용 수 7

한 줄 요약

PAC-NeRF는 다중 시야 영상에서 알려지지 않은 기하학적 구조와 물리적 매개변수(탄성체, 플라스티린, 모래, 유체 등)를 동시에 추정하는 물리 기반 신경 렌더링 필드를 제안한다. 기하학적 또는 위상적 가정 없이도 작동하며, 연속체 역학의 보존 법칙을 하이브리드 유동기반-라그랑주 기반 표현을 통해 강제함으로써, 미분 가능한 물리 시뮬레이션과 종단 간 최적화를 가능하게 하여 기존 방법 대비 최대 100배 향상된 최신 기술 수준의 시스템 식별 성능을 달성한다.

ABSTRACT

Existing approaches to system identification (estimating the physical parameters of an object) from videos assume known object geometries. This precludes their applicability in a vast majority of scenes where object geometries are complex or unknown. In this work, we aim to identify parameters characterizing a physical system from a set of multi-view videos without any assumption on object geometry or topology. To this end, we propose "Physics Augmented Continuum Neural Radiance Fields" (PAC-NeRF), to estimate both the unknown geometry and physical parameters of highly dynamic objects from multi-view videos. We design PAC-NeRF to only ever produce physically plausible states by enforcing the neural radiance field to follow the conservation laws of continuum mechanics. For this, we design a hybrid Eulerian-Lagrangian representation of the neural radiance field, i.e., we use the Eulerian grid representation for NeRF density and color fields, while advecting the neural radiance fields via Lagrangian particles. This hybrid Eulerian-Lagrangian representation seamlessly blends efficient neural rendering with the material point method (MPM) for robust differentiable physics simulation. We validate the effectiveness of our proposed framework on geometry and physical parameter estimation over a vast range of materials, including elastic bodies, plasticine, sand, Newtonian and non-Newtonian fluids, and demonstrate significant performance gain on most tasks.

연구 동기 및 목표

• 물체의 기하학적 구조나 위상에 대한 사전 지식 없이도 동적 장면의 물리적 매개변수를 식별할 수 있도록 하는 것.
• 기존 영상 기반 시스템 식별 방법의 한계를 해결하기 위해, 알려진 기하학적 구조나 렌더링 설정이 필요로 하는 문제를 해결하는 것.
• 기하학적 구조와 물리적 성질을 동시에 추정하기 위해, 미분 가능한 물리 시뮬레이션과 신경 렌더링 필드를 통합하는 것.
• 탄성 고체, 유체, 입자 매체, 플라스티닌 등 복잡한 물질을 다룰 수 있는 강력하고 데이터 효율적인 프레임워크 개발.
• 다중 시야 영상의 2차원 이미지 영역에서의 지도 신호만을 사용하여 고해상도 재구성과 정확한 물리적 매개변수 추정을 달성하는 것.

제안 방법

• PAC-NeRF는 하이브리드 유동기반-라그랑주 표현 방식을 도입한다: NeRF의 밀도 및 색상 필드는 유동기반 격자로 표현하고, 동적 시뮬레이션을 위해 이러한 필드를 라그랑주 입자에 의해 이동시킨다.
• NeRF 필드의 물질 도함수를 0으로 유지함으로써 연속체 보존 법칙 ∂F/∂t + v·∇F = 0을 강제 적용한다.
• 물질점 방법(Material Point Method, MPM)을 NeRF 프레임워크에 통합하여, 큰 변형과 충돌을 견고하게 미분 가능한 방식으로 시뮬레이션할 수 있도록 한다.
• 전체 파이프라인은 기하학적 구조와 물리적 매개변수를 2차원 픽셀 수준의 재구성 오차 손실을 통해 기반으로 한 기울기 기반 최적화가 가능하도록 설계되어 있다.
• 보간된 볼록체 기반 GPU 최적화 구현을 통해 추론 속도를 향상시키고, 복잡한 동적 장면에서도 고성능 시뮬레이션을 가능하게 한다.
• MPM 프레임워크 내에서 물질의 구성 거동을 모델링함으로써, 탄성 고체, 플라스티닌, 모래, 뉴턴성/비뉴턴성 유체를 포함한 다양한 물질을 지원한다.

Figure 1: PAC-NeRF uses both Lagrangian (particle; material-space) and Eulerian (grid; world-space) representations for an accurate yet tractable computational model of continuum materials. P2G and G2P denote particle-to-grid and grid-to-particle transforms, respectively. Renderable quantities (volu

실험 결과

연구 질문

• RQ1 다중 시야 영상에서 알려진 기하학적 구조나 위상에 대한 가정 없이도 동적 물질의 기하학적 구조와 물리적 매개변수를 추정할 수 있는가?
• RQ2 종단 간 최적화 과정에서 신경 렌더링 필드에 물리적 타당성을 어떻게 강제할 수 있는가?
• RQ3 순수한 시각 기반 학습 대비, 미분 가능한 물리 시뮬레이터가 영상 기반 시스템 식별에서 데이터 효율성과 일반화 능력을 향상시킬 수 있는가?
• RQ4 하이브리드 유동기반-라그랑주 표현 방식이 순수 유동기반 또는 순수 라그랑주 표현보다 복잡한 물질 거동을 더 잘 시뮬레이션할 수 있는가?
• RQ5 2차원 이미지 영역에서의 지도 신호(미분 가능한 렌더링 기반)가 3차원 기하학적 지도 신호(예: Chamfer 거리)보다 물리적 매개변수 추정에서 더 뛰어난 성능을 발휘할 수 있는가?

주요 결과

• PAC-NeRF는 17개의 물리적 성질 추정 카테고리 중 14개에서 최고 성능을 기록하며, 모든 기준 기반 방법들을 압도적으로 뛰어넘었다.
• 최신 기술 대비 물리적 매개변수 추정의 평균 절대 오차를 최대 2개의 자리수 감소시켰다.
• 유체 및 입자 매체 시뮬레이션에서, FEM 기반 기준 방법이 수치적 불안정성으로 실패하는 큰 변형 조건에서도 PAC-NeRF는 안정성과 정확성을 유지하였다.
• 오라클 포인트 클라우드로부터의 3차원 Chamfer 거리 지도보다 2차원 픽셀 수준의 재구성 오차 손실이 더 뛰어난 성능을 보였으며, 이는 이미지 영역 신호가 최적화 효율성이 뛰어나다는 것을 시사한다.
• 알려지지 않은 기하학적 구조와 렌더링 설정에 대해서도 강건성을 보이며, 특권 정보(기하학적 또는 캘리브레이션 정보) 없이도 시스템 식별이 가능하다.
• 하이브리드 유동기반-라그랑주 설계는 순수 MLP 기반 NeRF나 FEM 기반 시뮬레이터보다 더 빠른 추론 속도와 충돌 및 큰 변형 처리 능력에서 뛰어난 성능을 보였다.

Figure 2: Our surface regularizer improves reconstruction quality, by producing a tight-fit shape to the segmentation mask.