[논문 리뷰] Go Fetch: Mobile Manipulation in Unstructured Environments

Kenneth Blomqvist, Michel Breyer외 8명|arXiv (Cornell University)|2020. 04. 02.

Robotic Path Planning Algorithms참고 문헌 19인용 수 12

한 줄 요약

이 논문은 비구조적인 실내 환경에서 물체를 찾는 데에 Perception, Localization, Navigation, Motion Planning, Grasping을 통합한 유일한 워크플로우를 갖춘 모바일 조작 시스템 RoyalYumi을 제시한다. 이 시스템은 오목한 기반에 장착된 이중 암 ABB YuMi을 사용하여 자율적 물체 수거를 성공적으로 수행하였으며, 장애물 탐지, 궤적 부드러움, 그립 계획의 강건성에 한계가 있음에도 불구하고 모듈 간의 밀도 높은 통합을 보여주었다.

ABSTRACT

With humankind facing new and increasingly large-scale challenges in the medical and domestic spheres, automation of the service sector carries a tremendous potential for improved efficiency, quality, and safety of operations. Mobile robotics can offer solutions with a high degree of mobility and dexterity, however these complex systems require a multitude of heterogeneous components to be carefully integrated into one consistent framework. This work presents a mobile manipulation system that combines perception, localization, navigation, motion planning and grasping skills into one common workflow for fetch and carry applications in unstructured indoor environments. The tight integration across the various modules is experimentally demonstrated on the task of finding a commonly available object in an office environment, grasping it, and delivering it to a desired drop-off location. The accompanying video is available at https://youtu.be/e89_Xg1sLnY.

연구 동기 및 목표

• 비구조적인 실내 환경에서 자율적 물체 수거가 가능한 완전히 통합된 모바일 조작 시스템을 개발하는 것.
• 인식, 정위치, 주행, 운동 계획, 그립과 같은 다양한 이질적 구성 요소들을 하나의 일관된 워크플로우로 통합하는 데 도전하는 것.
• 오피스와 같은 실제 비구조적 환경에서 종단 간 작업 실행의 가능성을 입증하는 것.
• 현재 모바일 조작 시스템의 핵심 한계를 규명하고 향후 연구 방향을 강건성, 센서 기술, 제어 측면에서 이끌어내는 것.

제안 방법

• 오목한 Clearpath Ridgeback 기반에 이중 암 ABB YuMi을 장착하고, 두 대의 Hokuyo 2D LiDAR, Intel RealSense D435 RGB-D 센서, 그리고 시각-자기장 상태 추정을 위한 Skybotix VI-Sensor를 다수 장착하였다.
• 정위치 및 지ap 맵핑을 위해 시각-자기장 온도메트리와 SLAM을 활용하여 환경에 대한 일관된 내부 표현을 유지하였다.
• YOLOv3를 사용한 2차원 물체 검출과 간단한 포인트 클라우드 스티칭 방법을 조합한 인식 파이프라인을 구현하여 목표 물체의 고밀도 3차원 재구성하였다.
• 주행 대상으로 이동 및 조작 작업과 같은 고수준 동작을 조율하기 위해 계층적 행동 기반 계획 프레임워크를 적용하였다.
• 모바일 기반의 궤적 생성을 위한 운동 계획기를 사용하였지만, 궤적 최적화가 부족하여 진동하는 움직임을 보였다.
• 3차원 물체 재구성 기반으로 그립 후보를 생성하는 그립 계획기를 적용하였지만, 전체 운동역학적 또는 충돌 가능성을 검사하지는 않았다.

실험 결과

연구 질문

• RQ1 비구조적인 환경에서 모바일 조작을 위한 인식, 정위치, 주행, 조작을 어떻게 하나의 워크플로우로 밀도 있게 통합할 수 있는가?
• RQ2 실제 실내 환경에서 운영될 때 현재 모바일 조작 시스템의 핵심 실패 모드는 무엇인가?
• RQ3 RGB-D와 LiDAR 데이터의 통합은 장애물 탐지 및 경로 계획의 신뢰성에 어떤 영향을 미치는가?
• RQ4 피드백 및 전신 제어를 통해 히우리스틱 기반의 기반 위치 조정 및 오픈 루프 그립 전략을 얼마나 향상시킬 수 있는가?
• RQ5 센서 융합과 베이지안 필터링은 물체 탐지 및 위치 추정의 강건성 향상에 어떤 역할을 하는가?

주요 결과

• 시스템은 비구조적인 실내 환경에서 목표 물체를 찾고, 그립하며, 전달하는 자율적 물체 수거를 성공적으로 수행하였다.
• 장애물 탐지는 발목 높이 평면에 국한되어 있어 테이블 위나 모서리 없는 다리와의 충돌 가능성이 있으며, 이는 전면 3차원 장애물 표현의 필요성을 시사한다.
• 운동 계획기에서 생성된 궤적은 최적화가 부족하여 진동하는 움직임을 보였으며, 가속도 최소화를 통한 궤적 부드러움 향상이 움직임 품질 향상에 기여할 수 있음을 시사한다.
• 물체 탐지는 불확실성 추정이나 추적 유지 기능이 없는 기본적인 삼각측량 방법에 의존하여, 드리프트 및 잘못된 경고에 취약하다.
• 그립 계획은 운동역학적 타당성과 충돌 위험을 고려하지 않으며, 실행은 오픈 루프 방식이므로 동적인 또는 불확실한 상황에서의 강건성이 제한된다.
• 물체 낙하와 같은 실패 상황에 대응할 수 없으며, 현재 상태 기반 기반의 실행은 유지 및 적응이 어려워 행동 트리와 같은 더 유연한 프레임워크의 필요성을 강조한다.