[논문 리뷰] Learning 3D Dynamic Scene Representations for Robot Manipulation

Zhenjia Xu, Zhanpeng He외 2명|arXiv (Cornell University)|2020. 11. 03.

Human Pose and Action Recognition참고 문헌 39인용 수 21

한 줄 요약

이 논문은 깊이 관측치로부터 물체의 지속성, 전면성, 시공간 연속성을 포착하는 동적 장면 표현(DSR)을 학습하는 엔드 투 엔드 3D 순환 신경망인 DSR-Net을 제안한다. 예측된 장면 흐름을 사용해 특징 맵을 왜곡함으로써 DSR-Net은 공간적으로 일관된 방식으로 시각적 역사 정보를 집계하며, 3D 장면 역학 예측에서 최신 기술 수준의 성능을 달성하고 평면 밀기와 같은 로봇 조작 작업에 대해 정확한 모델 예측 제어를 가능하게 한다.

ABSTRACT

3D scene representation for robot manipulation should capture three key object properties: permanency -- objects that become occluded over time continue to exist; amodal completeness -- objects have 3D occupancy, even if only partial observations are available; spatiotemporal continuity -- the movement of each object is continuous over space and time. In this paper, we introduce 3D Dynamic Scene Representation (DSR), a 3D volumetric scene representation that simultaneously discovers, tracks, reconstructs objects, and predicts their dynamics while capturing all three properties. We further propose DSR-Net, which learns to aggregate visual observations over multiple interactions to gradually build and refine DSR. Our model achieves state-of-the-art performance in modeling 3D scene dynamics with DSR on both simulated and real data. Combined with model predictive control, DSR-Net enables accurate planning in downstream robotic manipulation tasks such as planar pushing. Video is available at https://youtu.be/GQjYG3nQJ80.

연구 동기 및 목표

• 장애물에 의한 가림이나 혼잡한 환경에서 실패하는 2D 및 부분적인 3D 시각 예측 모델의 한계를 해결한다.
• 물체가 가림되거나 부분적으로 관측되더라도 물체의 정체성과 전체 기하학적 구조를 유지하는 3D 장면 표현을 개발한다.
• 비정형적이고 동적인 환경에서 로봇 상호작용 하에 강체 운동의 장기 예측을 정확하게 수행할 수 있도록 한다.
• 학습된 표현을 모델 예측 제어(MPC)에 통합하여 로봇 조작 계획의 성능을 향상시킨다.
• 80,000개의 시뮬레이션 및 1,500개의 실제 세계 상호작용을 포함하는 벤치마크 데이터셋을 구축하여 동적 3D 장면 표현의 평가를 가능하게 한다.

제안 방법

• 깊이 영상을 트렁케이티드 시그닝 거리 필드(TSDF)로 변환하기 위해 3D 볼륨 장면 인코더를 사용하여 3D 장면 표현을 생성한다.
• 현재 장면 표현과 로봇 동작를 기반으로 볼륨형 장면 흐름을 추정하기 위해 운동 예측 네트워크를 훈련시킨다.
• 예측된 장면 흐름을 사용해 장면 표현을 공간적으로 왜곡하여 시간 단위 간 특징을 정렬함으로써 역사 정보 집계를 수행한다.
• 왜곡된 현재 표현과 다음 관측치의 표현을 특징 연결 및 3D 컨벌루션을 통해 결합한다.
• 재구성 및 운동 예측 손실을 사용해 시뮬레이션 환경에서 DSR-Net 전체 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 실제 세계 데이터로 미세조정하고, 평면 밀기 작업에서 동작 계획을 위한 모델 예측 제어(MPC)와 함께 구현한다.

실험 결과

연구 질문

• RQ1 물체가 직접 보이지 않을 때도 장면 표현이 물체의 정체성과 기하학적 구조를 유지할 수 있는가?
• RQ2 시공간 연속성 학습이 다중 물체 환경에서 장기 예측 운동 예측 성능에 얼마나 기여하는가?
• RQ3 운동 예측 기반 특징 왜곡이 공간적으로 일관된 방식으로 시각적 역사 정보를 집계하는 데 얼마나 효과적인가?
• RQ4 학습된 3D 동적 장면 표현이 평면 밀기와 같은 로봇 조작 작업의 동작 계획에 얼마나 기여하는가?
• RQ5 제안된 방법이 시뮬레이션 및 실제 세계 설정에서 이전 최신 기술 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• DSR-Net은 평면 밀기 작업 중 목표 구성 매칭에서 0.72 IoU를 달성하여 SE3-Net(0.31)과 SE3Pose-Net(0.32)을 크게 앞서나간다.
• 단일 단계 및 NoWarp 기반 모델과 달리, 정적 및 동적 가림 상황에서도 물체 정체성을 유지하고 운동을 정확히 예측한다.
• 시뮬레이션 환경에서 높은 순서 없는 IoU(0.78) 및 순서 있는 IoU(0.81) 점수를 기록하여 강력한 시공간 연속성과 일관된 인스턴스 추적 능력을 입증한다.
• 절단 분석 결과, 운동 예측 기반 왜곡이 역사 정보 집계를 향상시키며, 진짜 왜곡(GTWarp)을 사용할 경우 더 높은 성능을 기록함을 확인했다.
• 모델는 실제 세계 환경으로 일반화되어 실물 UR5 로봇 플랫폼에서 테이블탑 평면 밀기 작업에서 일관된 성능을 보였다.
• 80,000개의 시뮬레이션 및 1,500개의 실제 세계 상호작용을 포함하는 제안된 벤치마크 데이터셋은 동적 3D 장면 표현의 신뢰할 수 있는 평가를 가능하게 한다.