[논문 리뷰] Predicting Stable Configurations for Semantic Placement of Novel Objects

Chris Paxton, Chris Xie외 2명|arXiv (Cornell University)|2021. 08. 26.

Robot Manipulation and Learning참고 문헌 39인용 수 10

한 줄 요약

이 논문은 오직 RGB-D 센싱을 사용하여 로봇이 실제 환경에서 새로운 물체를 의미적으로 배치할 수 있도록 하는 학습 기반 프레임워크를 제안한다. 시뮬레이션에서 훈련된 관계 분류기와 장면 현실성 판별기의 조합을 통해, 실제 세계에서의 보정 없이도 안정적이고 의미적으로 유의미한 물체 배치를 계획할 수 있으며, 실제 실험에서 새로운 물체에 대해 높은 성공률을 달성한다.

ABSTRACT

Human environments contain numerous objects configured in a variety of arrangements. Our goal is to enable robots to repose previously unseen objects according to learned semantic relationships in novel environments. We break this problem down into two parts: (1) finding physically valid locations for the objects and (2) determining if those poses satisfy learned, high-level semantic relationships. We build our models and training from the ground up to be tightly integrated with our proposed planning algorithm for semantic placement of unknown objects. We train our models purely in simulation, with no fine-tuning needed for use in the real world. Our approach enables motion planning for semantic rearrangement of unknown objects in scenes with varying geometry from only RGB-D sensing. Our experiments through a set of simulated ablations demonstrate that using a relational classifier alone is not sufficient for reliable planning. We further demonstrate the ability of our planner to generate and execute diverse manipulation plans through a set of real-world experiments with a variety of objects.

연구 동기 및 목표

• 오직 RGB-D 센싱을 사용하여 비구조적인 실제 환경에서 이전에 본 적이 없는 물체의 의미적 재배치를 수행할 수 있도록 로봇을 가능하게 하기.
• 수동으로 설계된 규칙 기반 분류기에서 비롯하는 편향을 피하기 위해 데이터에서 고수준의 의미적 관계를 학습하기.
• 시뮬레이션에서 훈련된 장면 현실성 판별기를 통해 물리적으로 현실적이며 충돌 없는 물체 배치를 보장하기.
• 3차원 점군에서 물체 자세를 샘플링하여 고수준 계획과 저수준 운동 제어를 분리함으로써 최신 운동 계획기와의 통합을 가능하게 하기.
• 실제 세계에서의 보정 없이도 새로운 물체와 다양한 관계 예측자에 대해 일반화할 수 있도록 하기.

제안 방법

• 시스템은 시뮬레이션된 RGB-D 데이터로 훈련된 관계 분류기를 사용하여 물체 인스턴스 간의 의미적 술어(예: '근처', '뒤에', '접촉')를 예측한다.
• 장면 현실성 판별기는 원시 점군과 세그멘테이션 마스크만을 사용하여 물리적으로 타당한 물체 자세와 타당하지 않은 자세를 구분하도록 훈련된다.
• 계획기는 3차원 공간에서 물체 자세를 샘플링하고 관계 분류기 및 현실성 판별기를 사용하여 유효하고 목표 지향적인 구성 요소를 평가한다.
• 모델 기반 운동 계획(RRT-Connect)과 그립 예측([29]에서 유래)을 통합하여 실행 가능한 조작 계획을 생성한다.
• 목표로 하는 관계 목표에 따라 물체 자세 샘플러를 조정하여 계획 속도를 향상시키고 해답의 다양성을 높인다.
• 모든 모델는 시뮬레이션에서만 훈련되고 실제 세계에 그대로 배포되며 실제 세계에서의 보정 없이 작동한다.

실험 결과

연구 질문

• RQ1 학습 기반 시스템은 오직 RGB-D 입력만을 사용하여 실제 환경의 새로운, 본 적이 없는 물체 간의 의미적 관계를 예측할 수 있는가?
• RQ2 시뮬레이션에서 훈련된 장면 현실성 판별기는 관계 예측만으로는 부족한 바탕으로, 의미 있는 배치 계획의 신뢰성을 향상시키는가?
• RQ3 학습된 관계 및 현실성 모델에 기반한 계획기는 비구조적인 환경에서 새로운 물체에 대해 다양한 실행 가능한 조작 계획을 생성할 수 있는가?
• RQ4 실제 세계에서의 보정 없이도, 새로운 물체와 복잡한 장면 기하학에 대해 얼마나 잘 일반화되는가?
• RQ5 실제 세계 배포에서 학습된 관계 예측 성능은 수동으로 설계된 규칙 기반 베이스라인과 비교해 어떻게 되는가?

주요 결과

• 시스템은 새로운 물체에 대해 95%의 성공률을 달성했으며, 그립 성공률은 75%였고, 그립이 성공한 경우 100%의 배치 성공률를 기록했다.
• 학습된 관계 분류기는 민감도 면에서 규칙 기반 베이스라인을 능가하여 더 많은 유효한 배치 구성 요소를 정확히 식별했다.
• 장면 현실성 판별기는 계획의 신뢰성을 크게 향상시켰으며, 이는 의미적 예측만으로는 견고한 조작을 위한 데는 부족하다는 것을 입증했다.
• 이 방법은 YCB 데이터셋의 새로운 물체와 장난감 주방 물체에 대해 일반화되었으며, 작은 물체나 큰 물체와 같은 도전적인 케이스에도 대응했다.
• 그립 실패가 전체 실패의 주요 원인이었으며, 평균적으로 56%의 그립 성공률를 기록하여 그립 정책의 강건성 향상 여지가 있음을 시사했다.
• 계획기는 각 장면에서 다수의 유효한 해답을 성공적으로 생성하여 다양한 해답과 다양한 장면 기하학에 대한 적응 능력을 입증했다.