[논문 리뷰] The ACRV Picking Benchmark (APB): A Robotic Shelf Picking Benchmark to Foster Reproducible Research

Jürgen Leitner, Adam W. Tow외 16명|arXiv (Cornell University)|2016. 09. 17.

Robot Manipulation and Learning참고 문헌 20인용 수 5

한 줄 요약

ACRV Picking Benchmark(APB)는 표준 선반, 42종의 일반 가정용 물체, 스텐실 기반 물체 배치를 사용하여 재현 가능하고 물리적으로 실현 가능한 로봇 선반 꺼내기 벤치마크를 도입한다. 이는 완전한 로봇 시스템의 일관된 평가를 가능하게 한다. 기준 시스템으로는 Baxter 로봇을 사용하여 쉬운 설정에서는 75% 성공률를 기록하지만, 복잡하고 혼잡한 상황에서는 실패하며, 실제 환경 조건에서의 인식 및 조작 과제를 드러낸다.

ABSTRACT

Robotic challenges like the Amazon Picking Challenge (APC) or the DARPA Challenges are an established and important way to drive scientific progress. They make research comparable on a well-defined benchmark with equal test conditions for all participants. However, such challenge events occur only occasionally, are limited to a small number of contestants, and the test conditions are very difficult to replicate after the main event. We present a new physical benchmark challenge for robotic picking: the ACRV Picking Benchmark (APB). Designed to be reproducible, it consists of a set of 42 common objects, a widely available shelf, and exact guidelines for object arrangement using stencils. A well-defined evaluation protocol enables the comparison of \emph{complete} robotic systems -- including perception and manipulation -- instead of sub-systems only. Our paper also describes and reports results achieved by an open baseline system based on a Baxter robot.

연구 동기 및 목표

• 주요 대회 이벤트 외부에서 일관되게 재현 가능한 로봇 꺼내기 벤치마크의 부족을 해결하기 위해.
• 고립된 하위 시스템을 넘어서, 인식, 계획, 조작을 통합한 완전한 로봇 시스템의 장기적이고 체계적인 평가를 가능하게 하기 위해.
• 공개 가능한 구성 요소와 정확한 설정 지침을 제공함으로써 재현 가능한 연구를 지원하기 위해.
• 어려움이 점차 증가하는 확장 가능하고 진화하는 벤치마크를 만들어 최신 기술 수준의 시스템을 시험하고 향후 연구를 이끌기 위해.
• 성능 비교 및 향상의 기준점이 되는 공개된 Baxter 기반 기준 시스템을 제공하기 위해.

제안 방법

• 벤치마크는 표준 오프더쇼프 선반과 42종의 다양한 일반 가정용 물체(탄성, 투명, 외관이 유사한 물체 포함)를 사용하여 실제 환경의 혼잡함과 다양성을 시뮬레이션한다.
• 재현 가능성을 확보하기 위해 물체의 정확한 위치, 방향, 정렬을 정의하는 인쇄 가능한 스텐실을 사용하여 물체 배치를 표준화한다.
• 복잡도가 점차 증가하는 네 가지 별도의 벤치마크 설정을 정의한다: 단일 물체 꺼내기에서 시작하여, 다수의 물체, 가림, 투명/탄성 물체가 포함된 복잡한 상황까지.
• 랜덤성 영향을 줄이고 결과의 편향을 방지하기 위해 각 설정당 세 번의 연속 실행을 요구하는 완전한 평가 프로토콜을 수립한다.
• 공개된 하드웨어 확장 및 소프트웨어를 포함한 Baxter 로봇 기반 완전한 평가 시스템을 구현하며, 이에는 인식 파이프라인, 그립 감지, 운동 계획 기능이 포함된다.
• 성능은 성공률, 성공적인 꺼내기 수, 평균 시간-꺼내기 시간 등을 다수의 실행에 걸쳐 평균화하여 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 일반적인 오프더쇼프 구성 요소를 사용하여 재현 가능하고 물리적으로 실현 가능한 로봇 꺼내기 벤치마크를 설계할 수 있는가? 이는 연구소 간 일관된 평가를 가능하게 하는가?
• RQ2 물체 유사성, 가림, 투명성, 탄성 등의 실제 환경 복잡도 증가 상황에서 인식 및 조작 시스템의 성능은 어떻게 되는가?
• RQ3 표준화된 벤치마크가 성능 평가의 변동성을 얼마나 줄이고, 장기적이고 재현 가능한 로봇 조작 연구를 지원하는가?
• RQ4 통제된 환경이지만 다양한 조건을 가진 실생활 혼잡함과 도전적인 물체 특성에 직면했을 때 현재 로봇 시스템의 주요 실패 원인은 무엇인가?
• RQ5 공개된 기준 시스템이 다양한 벤치마크 난이도 수준에서 일관된 성능을 달성하는 데 얼마나 효과적인가?

주요 결과

• ACRV Picking Benchmark는 스텐실과 표준화된 물체 세트를 사용하여 설정 구성이 정밀하게 정의되어 있어 완전한 로봇 시스템의 재현 가능한 평가를 성공적으로 가능하게 하였다.
• 기준 Baxter 기반 시스템은 설정 1(쉬움)에서 75.00% 성공률를 기록하여 세 번의 연속 실행 동안 12개 물체 중 9개를 성공적으로 꺼내었다.
• 설정 2(중간 난이도)에서는 33.33% 성공률(12개 중 4개 성공)을 기록하였으며, 주로 혼잡한 구성에서의 인식 및 계획 문제로 인한 실패였다.
• 설정 3(고난이도)에서는 8.33% 성공률(12개 중 1개 성공)을 기록하였고, 검은 색/반사성 물체로 인한 세그멘테이션 오류와 노이즈가 많은 포인트 클라우드에서의 낮은 그립 계획 성능으로 실패하였다.
• 설정 4(극도로 난이도 높음)에서는 모든 18개 작업에서 0.00% 성공률를 기록하였으며, 조밀한 포장, 투명 물체, 작은 물체, 복잡한 기하학적 형태로 인해 어떤 그립도 수행하지 못하였다.
• 결과는 현재 시스템이 조밀함, 물체 유사성, 센서 노이즈와 같은 실제 환경 과제에 대해 심각한 어려움을 겪고 있음을 보여주며, 설계가 잘된 기준 시스템이더라도 여전히 도전 과제에 직면해 있음을 시사한다.