[논문 리뷰] SE(3)-Equivariant Relational Rearrangement with Neural Descriptor Fields

Anthony Simeonov, Yilun Du외 5명|arXiv (Cornell University)|2022. 11. 17.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

이 논문은 신경 기술자 필드(NDFs)와 에너지 기반의 관계형 구성 모델을 통해 작업에 관련된 부품에 대해 일관된 국소 좌표 프레임을 학습하고, 5~10개의 포인트 클라우드 예시만으로도 다중 물체 재배치 작업을 수행할 수 있는 관계형 신경 기술자 필드(R-NDFs)를 제안한다. 이 방법은 종단 간 학습을 통해 좌표 프레임 정렬을 최적화하고 변환을 정밀하게 보정함으로써 시뮬레이션 및 실제 환경에서 SE(3)-동치성과 일반화 능력을 달성한다.

ABSTRACT

We present a method for performing tasks involving spatial relations between novel object instances initialized in arbitrary poses directly from point cloud observations. Our framework provides a scalable way for specifying new tasks using only 5-10 demonstrations. Object rearrangement is formalized as the question of finding actions that configure task-relevant parts of the object in a desired alignment. This formalism is implemented in three steps: assigning a consistent local coordinate frame to the task-relevant object parts, determining the location and orientation of this coordinate frame on unseen object instances, and executing an action that brings these frames into the desired alignment. We overcome the key technical challenge of determining task-relevant local coordinate frames from a few demonstrations by developing an optimization method based on Neural Descriptor Fields (NDFs) and a single annotated 3D keypoint. An energy-based learning scheme to model the joint configuration of the objects that satisfies a desired relational task further improves performance. The method is tested on three multi-object rearrangement tasks in simulation and on a real robot. Project website, videos, and code: https://anthonysimeonov.github.io/r-ndf/

연구 동기 및 목표

• 모든 새로운 물체 인스턴스와 임의의 초기 자세를 가진 경우에도 제로샷 일반화를 통해 관계형 조작 작업을 수행할 수 있도록 하는 것.
• 소수의 예시에서 일관된 국소 좌표 프레임을 학습함으로써 수동 키포인트 주석에 대한 의존도를 줄이는 것.
• 좌표 프레임 정렬 오차가 누적되는 문제를 해결하기 위해 에너지 기반 모델을 사용해 물체 쌍의 구성 관계를 함께 모델링하는 것.
• 탁상 환경에서 다양한, 예측할 수 없는 물체 쌍에 대해 관계형 조작을 실제 환경에 구현할 수 있도록 하는 것.
• 실제 실행 환경에서의 분포 이탈, 음영, 센서 노이즈에 대한 강건성을 향상시키는 것.

제안 방법

• 각 물체당 하나의 3차원 기하 구조를 인코딩하고 작업에 관련된 부품의 공간 기술자를 예측하기 위해 두 개의 신경 기술자 필드(NDFs)를 사용한다.
• 한 번의 시범 예시에서 제공된 단일 3차원 키포인트 레이블을 사용하여 비凸 최적화 목표를 통해 다양한 물체 인스턴스 간에 일관된 국소 좌표 프레임을 최적화한다.
• NDF에서 추출한 기술자를 매칭하여, 새로운 물체 쌍에 대해 이러한 프레임의 6차원 자세를 추론함으로써 SE(3)-동치성 변환 예측을 가능하게 한다.
• 에너지 기반 모델(EBM)을 사용해 두 물체 간의 상대적 구성 관계를 함께 모델링하고, 예측된 변환을 바탕으로 원하는 공간 관계를 만족하도록 정밀하게 보정한다.
• 기울기 하강법를 사용해 종단 간 최적화를 통해 EBM을 학습함으로써, 단순한 좌표 프레임 정렬만으로는 달성할 수 없는 정확도 향상을 달성한다.
• 운동 계획을 통해 충돌 회피를 위한 보수적인 경로 점들을 포함시켜 실제 환경에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 소수의 예시(5~10개)로도 임의의 초기 자세를 가진 새로운 물체 인스턴스에 대해 관계형 재배치 작업의 일반화를 달성할 수 있는가?
• RQ2 수동 주석 없이도 다양한, 예측할 수 없는 물체 인스턴스 간에 작업에 관련된 부품에 대해 일관된 국소 좌표 프레임을 어떻게 할당할 수 있는가?
• RQ3 에너지 기반 모델을 통해 물체 쌍의 구성 관계를 함께 모델링하면, 독립적인 좌표 프레임 정렬을 넘어서 변환 정확도를 향상시킬 수 있는가?
• RQ4 실제 환경에서의 노이즈, 분포 이탈, 불완전한 인식 데이터에 대해 이 방법은 얼마나 강건한가?
• RQ5 이 프레임워크는 실제 탁상 환경에서의 다단계 조작 작업으로까지 일반화될 수 있는가?

주요 결과

• R-NDFs는 시뮬레이션에서 세 가지 다중 물체 재배치 작업에서 높은 성공률를 기록했으며, 단지 좌표 프레임 정렬에 의존하는 기준 모델들보다 뛰어난 성능을 보였다.
• 제안된 일관된 좌표 프레임 할당을 위한 최적화 방법은 형태나 초기 자세가 다양할 경우 특히 잘못된 정렬 오차를 줄이는 데 기여했다.
• 에너지 기반의 공동 구성 모델은 시뮬레이션에서 복잡한 관계(예: 쌓기, 매달기)에서 기준 모델보다 작업 성공률을 15~20% 향상시켰다.
• 실제 환경 실험에서는 머그컵을 랙에, Bowls를 머그컵 위에 올리는 등 다양한 물체 쌍에 대해 일관된 성능으로 재배치 작업을 성공적으로 수행했다.
• 데이터 증강과 다중 초기화 최적화를 결합함으로써 포인트 클라우드 노이즈, 음영, 센서 오차에 대해 강건성을 확보했다.
• 다양한 예시를 사용하고 증강된 데이터로 신중하게 NDF를 훈련시킴으로써 잘못된 손잡이 정렬이나 뒤집힌 bot의 배치와 같은 실패 유형이 감소했다.