[논문 리뷰] 3D-OES: Viewpoint-Invariant Object-Factorized Environment Simulators

Hsiao-Yu Fish Tung, Xian Zhou외 3명|arXiv (Cornell University)|2020. 11. 12.

Human Pose and Action Recognition참고 문헌 45인용 수 13

한 줄 요약

3D-OES는 RGB-D 영상에서 기하학적이고 시점에 관계없이 작동하는 3D 물체 요소 분리 동역학 모델을 제안하며, 가시성 가능한 3D 신경 장면 표현을 기반으로 하는 그래프 신경망을 사용해 3D 물체 운동을 예측한다. 이 모델은 다양한 시점, 물체 수, 외관에 대해 뛰어난 일반화 성능을 보이며, 로봇 조작 작업에서 효과적인 시뮬레이션에서 실제 환경으로의 전이를 가능하게 한다.

ABSTRACT

We propose an action-conditioned dynamics model that predicts scene changes caused by object and agent interactions in a viewpoint-invariant 3D neural scene representation space, inferred from RGB-D videos. In this 3D feature space, objects do not interfere with one another and their appearance persists over time and across viewpoints. This permits our model to predict future scenes long in the future by simply "moving" 3D object features based on cumulative object motion predictions. Object motion predictions are computed by a graph neural network that operates over the object features extracted from the 3D neural scene representation. Our model's simulations can be decoded by a neural renderer into2D image views from any desired viewpoint, which aids the interpretability of our latent 3D simulation space. We show our model generalizes well its predictions across varying number and appearances of interacting objects as well as across camera viewpoints, outperforming existing 2D and 3D dynamics models. We further demonstrate sim-to-real transfer of the learnt dynamics by applying our model trained solely in simulation to model-based control for pushing objects to desired locations under clutter on a real robotic setup

연구 동기 및 목표

• 상호작용 장면에서 다양한 카메라 시점과 물체 구성에 대해 일반화되는 동역학 모델을 개발하는 것.
• 3D 잠재 공간에서 물체 외관과 운동을 분리함으로써 장기 예측이 가능한 장면 예측을 가능하게 하는 것.
• 신경 렌더링을 통해 해석 가능하고 시점에 관계없는 장면 시뮬레이션과 반사적 추론을 지원하는 것.
• 실제 로봇 조작 작업에서 모델 기반 제어를 위한 효과적인 시뮬레이션에서 실제 환경으로의 전이를 달성하는 것.
• 2D 동역학 모델이 음영과 시점 변화를 다루는 데에 한계를 보이는 점을 3D 요소 분리로 보완하는 것.

제안 방법

• RGB-D 영상에서 기하학적 인식 능력을 갖춘 순환 신경망(GRNN)을 사용해 가변 가능한 3D 신경 장면 표현을 추론한다.
• 개별 물체를 탐지하고 3D 특징 맵에 통합함으로써 다양한 시점과 음영 상황에서도 외관을 유지한다.
• 3D 물체 특징과 동작 입력을 기반으로 그래프 신경망(GNN)을 적용해 누적 3D 이동 및 회전을 예측한다.
• 예측된 운동에 따라 3D 물체 특징 맵을 이동 및 회전시켜 미래 장면을 생성함으로써 오차 누적이 발생하지 않도록 한다.
• 신경 렌더러를 사용해 3D 잠재 표현을 임의의 시점에서 2D 이미지 뷰로 디코딩하여 시각적 해석 가능성을 확보한다.
• RGB-D 입력과 진짜 3D 물체 상태를 기반으로 동역학 예측 및 장면 생성을 위한 엔드 투 엔드 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 3D 요소 분리 및 시점에 관계없는 동역학 모델은 상호작용 장면에서 새로운 수의 물체와 새로운 외관을 갖는 시나리오에 일반화될 수 있는가?
• RQ2 3D 신경 장면 표현에서 동역학을 학습하는 것이 2D 이미지 중심 모델에 비해 다양한 카메라 시점에서의 일반화 성능을 향상시키는가?
• RQ3 학습된 3D 동역학 모델은 정확한 장기 예측 및 반사적 시뮬레이션을 가능하게 하는가?
• RQ4 모델이 시뮬레이션에서 훈련된 후 실세계 로봇 조작 작업으로 전이될 수 있는 정도는 어느 정도인가? (세부 보정 없이)
• RQ5 3D 물체 요소 분리 표현은 음영과 시점 변화에 대한 운동 예측 정확도 향상에 어떤 기여를 하는가?

주요 결과

• 3D-OES는 모델 예측 제어를 사용해 밀기 작업에서 0.86의 성공률을 기록하며, 그래프-XYZ(0.76) 및 PlaNet(0.16)를 포함한 모든 베이스라인을 능가한다.
• 모델은 단지 이물체 시나리오에만 훈련된 경우에도 새로운 수의 물체와 새로운 외관을 갖는 장면에 일반화된다.
• 모델은 다양한 카메라 시점에 일반화되며, 2D 기반 모델은 시점 변화에 따라 심각한 과소적합 현상을 보인다.
• 실세계 밀기 작업에서 시뮬레이션 성능(0.86)과 유사한 0.78의 성공률로 시뮬레이션에서 실제 환경으로의 전이가 성공했다.
• 3D 물체 특징를 조작함으로써 반사적 시뮬레이션을 가능하게 하며, 신경 렌더링을 통해 결과를 시각화하였다.
• 3D 표현은 재인코딩 없이 물체 특징를 이동시킴으로써 안정적이고 오차 최소화된 장면 생성을 가능하게 하여 분포 이탈을 감소시킨다.