[논문 리뷰] Approaches and Challenges in Robotic Perception for Table-top Rearrangement and Planning

Aditya Agarwal, Bipasha Sen외 4명|arXiv (Cornell University)|2022. 05. 09.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 테이블탑 로봇 재배치에서의 인식 도전 과제에 대한 종합적인 분석을 제시하며, 3차원 환경 정렬, 알 수 없는 물체 탐지, 그리고 抓握 포인트 선택에 중점을 둔다. 물체 중심의 抓握 제안 전이 및 실시간에서의 抓握 검증과 같은 솔루션을 제안하여, ICRA 2022 오픈 클라우드 로봇 챌린지에서 3위를 기록한 통찰을 바탕으로 혼잡한 환경에서의 강건성을 향상시켰다.

ABSTRACT

Table-top Rearrangement and Planning is a challenging problem that relies heavily on an excellent perception stack. The perception stack involves observing and registering the 3D scene on the table, detecting what objects are on the table, and how to manipulate them. Consequently, it greatly influences the system's task-planning and motion-planning stacks that follow. We present a comprehensive overview and discuss the different challenges associated with the perception module. This work is a result of our extensive involvement in the ICRA 2022 Open Cloud Robot Table Organization Challenge, in which we stood third in the final rankings.

연구 동기 및 목표

• 테이블탑 로봇 재배치 시스템의 인식 스택에서 발생하는 핵심 과제를 해결하기 위해.
• 다양하고 실제 세계의 가정용 물체에 대해 알 수 없는 물체 탐지 및 6자리 자세 추정의 강건성을 향상시키기 위해.
• 혼잡하고 동적인 환경에서 신뢰할 수 있는 抓握 할당 및 검증 메커니즘을 개발하기 위해.
• 기존의 알려진 물체에 대한 가정을 초월해 인식 파이프라인의 일반화 및 확장성을 향상시키기 위해.
• 미래의 연구를 구조 인식 기반의 抓握 순위 매기기 및 장면 인식 기반의 조작 계획 수립 방향으로 이끌기 위해.

제안 방법

• ICP 기반 정렬을 사용한 다중 시점 3차원 환경 재구성으로 테이블탑 환경의 조밀한 전역 점군을 생성한다.
• 검출된 물체 자세를 사용해 점군에서 분리된 물체에 대해 물체 중심의 抓握 제안 네트워크(예: Contact-GraspNet)를 적용한 후, 이를 장면으로 이전한다.
• 물체 중심과의 거리 임계값을 사용한 할당 논리를 구현하면서 이웃 물체와의 충돌을 방지한다.
• 실시간 장면 분할 및 투영 매칭을 통한 실시간에서의 抓握 검증을 도입하여 정확한 물체 취득을 확인한다.
• 장면의 맥락과 물체의 기하학적 특성을 활용해 구조적으로 안정적이고 충돌 없는 抓握 자세를 우선순위에 두는 방법을 적용한다.
• 물체의 형상, 방향 및 장면 제약 조건을 고려한 강화 학습 기반의 抓握 순위 매기기 접근법을 제안한다.

실험 결과

연구 질문

• RQ1 혼잡하고 다중 물체가 존재하는 환경에서 어떻게 抓握 제안을 개별 물체에 신뢰성 있게 할당할 수 있는가?
• RQ2 기존의 抓握 제안 네트워크가 비정상적이거나 대규모 장면 점군에 적용되었을 때의 한계는 무엇인가?
• RQ3 유사한 물체에 가까이 있을 경우에도 정확한 물체 취득을 보장하기 위해 실시간으로 어떻게 抓握 검증을 수행할 수 있는가?
• RQ4 물체의 구조와 장면 맥락을 통합함으로써 얼마나까지 抓握 선택을 향상시킬 수 있는가?
• RQ5 실제 환경에서 알 수 없는 카테고리의 물체로 인식 파이프라인을 확장할 때의 주요 과제는 무엇인가?

주요 결과

• 물체 중심의 抓握 제안 전이 방식은 제안 사항이 해당 물체에 정확히 매핑되도록 함으로써 抓握 할당 정확도를 크게 향상시킨다.
• 중심점과의 거리 기반의 단순한 抓握 할당 방식은 이웃 물체의 간섭으로 인해 자주 실패함을 확인하여 맥락 인식 기반의 선택이 필요함을 시사한다.
• 분할 및 투영 매칭을 통한 실시간에서의 抓握 검증은 혼잡한 환경에서 잘못된 물체 취득을 효과적으로 줄인다.
• Contact-GraspNet과 같은 기존의 抓握 제안 네트워크는 본질적으로 물체의 구조를 고려하지 않아 가위나 병과 같은 도구에 대해 최적의 抓握 자세를 도출하지 못함을 확인하였다.
• 특히 유연하거나 비정형으로 된 물체에 대해 일반화가 되지 않는다는 점이 주요 장애물로 남아 있으며, 이는 여전히 해결이 필요한 과제이다.
• 구조적 및 맥락 인식 기반의 抓握 순위 매기기는 유망한 방향이지만 아직 연구가 부족하여 향후 추가 연구가 필요하다.