[논문 리뷰] Amodal 3D Reconstruction for Robotic Manipulation via Stability and Connectivity

William Agnew, Christopher Xie외 5명|arXiv (Cornell University)|2020. 09. 28.

Robotics and Sensor-Based Localization참고 문헌 41인용 수 9

한 줄 요약

이 논문은 로봇 조작에 적합한 새로운 이모달 3D 재구성 프레임워크인 ARM을 제안한다. 이 프레임워크는 기계적 안정성과 연결성 사전 지식을 미분 가능한 손실 함수를 통해 강제하여 물리적 현실감을 향상시킨다. 다중 채널 입력 표현과 결합함으로써 ARM은 기존 최고 수준의 기준 대비 혼잡한 환경에서 새로운, 부분적으로 가림을 받는 물체에 대해 조작 성공률을 42% 향상시킨다.

ABSTRACT

Learning-based 3D object reconstruction enables single- or few-shot estimation of 3D object models. For robotics, this holds the potential to allow model-based methods to rapidly adapt to novel objects and scenes. Existing 3D reconstruction techniques optimize for visual reconstruction fidelity, typically measured by chamfer distance or voxel IOU. We find that when applied to realistic, cluttered robotics environments, these systems produce reconstructions with low physical realism, resulting in poor task performance when used for model-based control. We propose ARM, an amodal 3D reconstruction system that introduces (1) a stability prior over object shapes, (2) a connectivity prior, and (3) a multi-channel input representation that allows for reasoning over relationships between groups of objects. By using these priors over the physical properties of objects, our system improves reconstruction quality not just by standard visual metrics, but also performance of model-based control on a variety of robotics manipulation tasks in challenging, cluttered environments. Code is available at github.com/wagnew3/ARM.

연구 동기 및 목표

• 혼잡한 환경에서 로봇 조작에 적용될 때 기존 3D 재구성 방법의 낮은 물리적 현실감을 해결한다.
• 작업 성능과 상관관계가 없는 표준 재구성 평가 지표(예: Chamfer 거리)의 한계를 극복한다.
• 부분적으로 가림을 받고 새로운 물체에 대해 물리적으로 타당한 3D 재구성을 생성함으로써 모델 기반 제어를 향상시킨다.
• 재구성 정밀도를 높이는 것 외에도 물리적 타당성 측면에서 후속 작업에 유리한 모듈러 프레임워크를 개발한다.
• 높은 가림 상태에서 그립, 밀기, 재배열 작업 전반에 걸쳐 조작 성공률의 심각한 향상을 입증한다.

제안 방법

• 중력 하에서 기울 수 있는 재구성된 물체 형상을 방지하기 위해 안정성 손실을 도입하여 물리적으로 안정된 구성을 유도한다.
• 분리되거나 파편화된 물체 재구성을 방지하기 위해 연결성 손실을 설계하여 일관된 이모달 형상 보완을 보장한다.
• 목표 물체와 주변 방해 요소 간의 공간적 관계를 재구성 중에 인코딩하기 위해 다중 채널 바이트 표현을 사용한다.
• 안정성 및 연결성 사전 지식을 기본 재구성 모델(예: GenRE) 위에 구축된 모듈러 프레임워크에 통합하여 즉시 적용 가능한 개선을 가능하게 한다.
• 표준 최적화를 사용해 전체 시스템을 엔드 투 엔드로 훈련하며, 사전 지식이 물리적으로 타당한 형상을 선호하도록 네트워크를 이끌어낸다.
• 정확한 인스턴스 세그멘테이션을 활용해 재구성 효과를 인식 오류로부터 분리함으로써 재구성 품질 평가의 공정성을 확보한다.

실험 결과

연구 질문

• RQ1 안정성과 연결성과 같은 물리적 사전 지식을 강제하면 혼잡한 로봇 환경에서 3D 재구성 품질이 향상되는가?
• RQ2 표준 재구성 방법에 비해 안정성 및 연결성 사전 지식이 고도로 가림된 상태에서 성능 저하를 어느 정도 줄이는가?
• RQ3 다중 채널 입력을 통해 물체 간 공간적 관계를 통합하면 이모달 재구성 정밀도와 후속 작업 성공률이 향상되는가?
• RQ4 미분 가능한 물리적 사전 지식을 갖춘 모듈러 프레임워크는 새로운, 가림을 받는 물체에서 조작 성공률을 크게 향상시킬 수 있는가?
• RQ5 표준 시각적 재구성 평가 지표(예: Chamfer 거리)는 실제 세계의 로봇 작업 성능과 어느 정도 상관관계가 있는가?

주요 결과

• ARM은 혼잡한 장면에서 그립, 밀기, 재배열 작업 전반에 걸쳐 기준 모델인 GenRE 대비 조작 성공률을 42% 향상시킨다.
• 오직 10%의 가시성만 확보된 물체에 대해서도 ARM은 가림이 없는 물체의 성공률의 75%를 기록하며, 기준 대비 25%에 그치는 것으로 나타나 높은 가림에 대한 강건성을 입증한다.
• 안정성 사전 지식은 재구성된 물체의 실패율을 크게 감소시키며, 평가에서 물체의 안정성과 작업 성공률 간 강한 상관관계를 보여준다.
• ARM은 새로운 도전적인 혼잡한 3D 재구성 벤치마크에서 비록 지표가 직접 최적화되지 않았음에도 불구하고 재구성 품질을 28% 향상시켰다.
• 다중 채널 입력 표현은 모델이 재구성 중에 물체 간 관계와 공간적 맥락을 고려할 수 있도록 하여 성능 향상을 이룬다.
• 프레임워크는 모듈러하고 일반화 가능하며, GenRE 외에도 최첨단 3D 재구성 모델과도 결합 가능하다.