[논문 리뷰] Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-modal Rearrangement

Anthony Simeonov, Ankit Goyal외 6명|arXiv (Cornell University)|2023. 07. 10.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 3D 포인트 클라우드에서 다중 모odal이고 정밀한 변환을 예측하는 확산 기반 방법인 Relational Pose Diffusion (RPDiff)를 제안한다. 국소적 환경 기하학에 조건이 되는 객체 자세를 반복적으로 노이즈 제거함으로써, 다양한 객체 형상, 환경 레이아웃, 재배치 구성에 대해 시뮬레이션 및 실제 환경 설정 모두에서 일반화된다.

ABSTRACT

We propose a system for rearranging objects in a scene to achieve a desired object-scene placing relationship, such as a book inserted in an open slot of a bookshelf. The pipeline generalizes to novel geometries, poses, and layouts of both scenes and objects, and is trained from demonstrations to operate directly on 3D point clouds. Our system overcomes challenges associated with the existence of many geometrically-similar rearrangement solutions for a given scene. By leveraging an iterative pose de-noising training procedure, we can fit multi-modal demonstration data and produce multi-modal outputs while remaining precise and accurate. We also show the advantages of conditioning on relevant local geometric features while ignoring irrelevant global structure that harms both generalization and precision. We demonstrate our approach on three distinct rearrangement tasks that require handling multi-modality and generalization over object shape and pose in both simulation and the real world. Project website, code, and videos: https://anthonysimeonov.github.io/rpdiff-multi-modal/

연구 동기 및 목표

• 단일 객체-환경 관계에 대해 여러 유효한 배치가 존재하는 다중 모달 재배치 솔루션의 과제를 해결한다.
• 전반적인 환경 구조 대신 국소 기하 특징에 중점을 두어, 새로운 환경 레이아웃과 객체 구성에 대한 일반화를 향상시킨다.
• 포인트 클라우드 기반 확산 기반 노이즈 제거 프레임워크를 사용하여 시연 데이터에서 정확하고 다양한 재배치 예측을 가능하게 한다.
• 명시적인 물리적 상호작용 모델링이나 객체별 사전 지식 없이 깊이 카메라 입력을 사용하여 실제 환경에 배포할 수 있도록 지원한다.
• 서랍 정리, 쌓기, 매달기 세 가지 다른 재배치 작업에서 강력한 성능을 보이며, 새로운 기하학적 형상과 자세에 대해 zero-shot 일반화를 달성한다.

제안 방법

• 최종 시범 구성의 변형된 버전을 만들어 포인트 클라우드 자세 노이즈 제거 문제로 객체 재배치를 공식화한다.
• 다양한 초기 노이즈 분포에서 시작하여 노이즈 제거 과정을 반복적으로 뒤집는 확산 모델을 훈련시켜 다중 모달 출력을 생성한다.
• 객체 주변의 환경 포인트 클라우드의 국소 쿠션에 조건을 줌으로써 일반화를 향상시키고 관련 없는 전반적 간섭 요소를 무시한다.
• 객체 및 환경 포인트에 대해 자기주의 주의를 사용하고, 이들 간에 교차주의 주의를 적용하는 Transformer 기반 아키텍처를 사용하여 SE(3) 변환을 예측한다.
• 확산 타임스텝 조건을 위해 사인파 위치 임베딩을 적용하고, 점차적으로 편차 크기를 줄이는 안내된 노이즈 스케줄을 사용한다.
• 최종 객체 자세와 성공 가능성 점수를 별도의 헤드 네트워크를 사용해 예측함으로써 불확실성 인식 추론을 가능하게 한다.

Figure 1: By learning from a set of demonstrations of a rearrangement task, such as place the book in the shelf (A) and hang the mug on the rack (B), Relational Pose Diffusion (RPDiff) can produce multiple transformations that achieve the same object-scene relationship for new object/scene pairs.

실험 결과

연구 질문

• RQ1 확산 기반 접근 방식이 3D 포인트 클라우드 시범 데이터로부터 다중 모달 재배치 솔루션을 효과적으로 모델링할 수 있는가?
• RQ2 국소 환경 캐싱이 새로운 환경 레이아웃과 객체 구성에 대한 일반화에 어떻게 기여하는가?
• RQ3 기하학적 정보만을 사용하고 물리 기반을 고려하지 않는 방법이 실제 환경에서 정확하고 다양한 재배치 예측을 얼마나 잘 달성할 수 있는가?
• RQ4 유사한 입력이지만 다른 목표를 가진 다중 모달 시범 데이터에 대해 반복적 노이즈 제거가 단일 단계 회귀보다 성능이 뛰어나게 되는가?
• RQ5 모델이 시뮬레이션 및 실제 환경 배포 모두에서 새로운 객체 형상, 자세, 환경 기하학에 대해 얼마나 잘 일반화되는가?

주요 결과

• RPDiff는 시뮬레이션 및 실제 환경 모두에서 세 가지 도전적인 재배치 작업—서랍 정리, 쌓기, 매달기—에서 최신 기술 수준의 성능을 달성한다.
• 모델은 새로운 객체 형상과 환경 레이아웃, 이전에 본 적 없는 랙 구성과 책장 배열에 대해 효과적으로 일반화된다.
• 반복적 노이즈 제거를 통해 다수의 유효한 솔루션을 포함하는 다양하고 고급 수준의 재배치 예측을 생성하며, 평균 예측 기반 베이스라인과는 달리 이에 비해 뛰어난 성능을 보인다.
• 국소 환경 캐싱은 제로샷 일반화를 크게 향상시키며, 전반적 맥락 모델링 대비 분포 외 레이아웃에서의 성능 저하를 크게 줄인다.
• 실제 환경에서 매달기 작업의 성공률은 87.5%이며, 시뮬레이션된 서랍 정리 작업에서는 92.1%를 기록했으며, 높은 수준의 예측 솔루션 다양성을 확보했다.
• 제거 실험을 통해 확산 훈련 방식과 국소 캐싱이 다중 모달성과 일반화에 핵심적임을 확인했으며, 실험에서 성공률이 30% 이상 감소함을 입증했다.

Figure 2: Method Overview. (A) Starting from an object and scene point cloud ${\mathbf{P}_{\mathbf{O}}}$ and ${\mathbf{P}_{\mathbf{S}}}$ , we transform ${\mathbf{P}_{\mathbf{O}}}$ to a diverse set of initial poses. RPDiff takes the initial object-scene point clouds as input, iteratively updates the