[논문 리뷰] Learning Multi-Object Dynamics with Compositional Neural Radiance Fields

Danny Driess, Zhiao Huang외 3명|arXiv (Cornell University)|2022. 02. 24.

Human Pose and Action Recognition인용 수 19

한 줄 요약

이 논문은 다중 시점 영상에서 다중 물체의 시나리오 역학을 학습하기 위해 신경 렌더링 필드(NeRFs)와 그래프 신경망(GNNs)를 활용하는 구성적이고 물체 중심의 역학 모델을 제안한다. 각 물체를 암묵적 인코더를 통해 3D 인식 잠재 벡터로 인코딩하고, 구성적 NeRF 렌더링을 통해 시나리오를 재구성함으로써 안정적이고 장기적인 역학 예측 및 새로운 물체 수에 대한 일반화를 가능하게 한다. 이는 강체 및 탄성 물체를 포함한 시뮬레이션 및 실제 환경 실험에서 비구성적 기준 모델을 능가한다.

ABSTRACT

We present a method to learn compositional multi-object dynamics models from image observations based on implicit object encoders, Neural Radiance Fields (NeRFs), and graph neural networks. NeRFs have become a popular choice for representing scenes due to their strong 3D prior. However, most NeRF approaches are trained on a single scene, representing the whole scene with a global model, making generalization to novel scenes, containing different numbers of objects, challenging. Instead, we present a compositional, object-centric auto-encoder framework that maps multiple views of the scene to a set of latent vectors representing each object separately. The latent vectors parameterize individual NeRFs from which the scene can be reconstructed. Based on those latent vectors, we train a graph neural network dynamics model in the latent space to achieve compositionality for dynamics prediction. A key feature of our approach is that the latent vectors are forced to encode 3D information through the NeRF decoder, which enables us to incorporate structural priors in learning the dynamics models, making long-term predictions more stable compared to several baselines. Simulated and real world experiments show that our method can model and learn the dynamics of compositional scenes including rigid and deformable objects. Video: https://dannydriess.github.io/compnerfdyn/

연구 동기 및 목표

• 학습 중에 관찰한 물체 수와 다른 수의 물체를 포함한 시나리오로 일반화하는 데 도전하는 다중 물체 역학을 구성적으로 학습하는 것.
• 물체별 잠재 벡터의 디코더로 NeRF를 사용하여 잠재 역학 모델에 강력한 3D 인덕티브 바이어스를 통합하는 것.
• NeRF 기반 재구성과 GNN을 사용한 잠재 공간 내의 적응형 인접 행렬을 통해 3D 구조를 강제함으로써 장기 예측 안정성을 향상시키는 것.
• 안정적이고 선명한 이미지 예측을 보장함으로써 잠재 공간에서 RRT 기반 방법을 효과적으로 적용하여 계획 수립을 가능하게 하는 것.
• 시뮬레이션 및 실제 환경에서 새로운 물체 수와 복잡한 역학, 탄성 물체를 포함한 일반화 성능을 입증하는 것.

제안 방법

• 암묵적 물체 인코더가 다중 시점 영상에서 각기 다른 3D 물체를 나타내는 물체별 잠재 벡터 집합으로 매핑한다.
• 각 잠재 벡터가 개별 NeRF를 파라미터화하여 새로운 시점에서의 구성적 렌더링을 통해 3D 인식 시나리오 재구성을 가능하게 한다.
• 간선 특징은 간선 인코더를 통해 학습되고, 노드 갱신은 노드 전파 네트워크를 통해 이루어지는 잠재 공간 내의 그래프 신경망(GNN) 역학 모델이 운영된다.
• 물체 간의 인접 행렬은 모델 자체의 예측에서 유도되며, 이는 물체 상호작용을 적응형으로 모델링할 수 있도록 한다.
• 다양이 가능한 렌더링 파이프라인은 시점 간의 3D 일관성을 강제하여 잠재 벡터의 품질과 3D 일반화 능력을 향상시킨다.
• 안정적인 장기 예측을 바탕으로, 잠재 공간에서 RRT 기반 계획 방법을 적용할 수 있다.

실험 결과

연구 질문

• RQ1 NeRF 디코더를 갖는 구성적이고 물체 중심의 오토인코더는 학습 중에 관찰하지 않은 다른 수의 물체를 포함한 시나리오로 역학 예측을 일반화할 수 있는가?
• RQ2 NeRF 기반 재구성으로 3D 인덕티브 바이어스를 통합함으로써 2D 이미지 기반 기준 모델 대비 장기 역학 예측 안정성이 향상되는가?
• RQ3 예측된 물체 상호작용을 반영한 잠재 공간 내의 GNN 기반 역학 모델은 비구성적 모델 대비 더 정확하고 안정적인 장기 예측을 달성할 수 있는가?
• RQ4 이 방법은 강체 및 탄성 물체를 포함한 실제 환경에서 새로운 물체 수에 대해 얼마나 잘 일반화되는가?
• RQ5 전체 시나리오 표현 대신 각 물체별로 개별 NeRF를 사용하는 것이 단일 물체 시나리오에서도 성능 향상에 기여하는가?

주요 결과

• 비구성적 기준 모델 대비 이미지 재구성 오차와 예측 오차가 유의미하게 낮으며, 특히 장기 예측 수순에서 두드러진다. 상대적 이미지 오차는 15개 예측 단계 이후에도 낮게 유지된다.
• 기린과 신발을 포함한 실제 환경 실험에서, 모델은 15개 예측 단계 동안 이미지 오차가 0.05 이하로 낮게 유지되며 기준 모델보다 빠르게 성능이 저하되는 것을 피한다.
• 학습 중에 관찰한 물체 수보다 적은 수의 물체를 포함한 시나리오, 예를 들어 단지 신발이나 모래 모형만 있는 시나리오에서도 효과적으로 일반화되며, 기준 모델은 분포 이탈로 실패한다.
• 줄을 사용한 탄성 물체 실험에서도 모델은 안정적인 예측을 유지하며, 밀도 높은 GNN 및 CNN 기반 디코더 변형보다 뛰어난 성능을 보이며 형태 변화에 대한 강건성을 입증한다.
• 각 물체별 개별 NeRF 사용은 적응형 인접 행렬 학습을 가능하게 하며, 이는 단일 물체 시나리오에서도 성능 향상에 기여함으로써 구성적 설계의 이점을 보여준다.
• 안정적이고 선명한 이미지 예측 덕분에 잠재 공간에서 RRT 기반 계획이 성공적으로 수행되며, 후속 제어 작업에 대한 유용성을 검증한다.