[논문 리뷰] Exploratory Grasping: Asymptotically Optimal Algorithms for Grasping Challenging Polyhedral Objects

Michael Danielczuk, Ashwin Balakrishna외 3명|arXiv (Cornell University)|2020. 11. 11.

Robot Manipulation and Learning참고 문헌 33인용 수 11

한 줄 요약

이 논문은 로봇이 순차적으로 抓握을 尝시도하고 성공 시 해제하거나 실패 시 기울여서, 알 수 없는 다면체 물체에 대해 신뢰할 수 있는 抓握을 탐색하는 데 초점을 맞춘 새로운 온라인 학습 문제인 탐색적 抓握(Exploratory Grasping)을 제안한다. 이는 밴딧 기반 알고리즘인 BORGES를 제안하여 안정된 물체 자세에 걸쳐 抓握 정책을 효율적으로 탐색하며, 1000~8000 타임스텝 내에 거의 최적의 성능를 달성하고, 단지 200회의 尝시도로도 Dex-Net 기준 대비 실제 실험에서 45% 높은 抓握 성공률을 달성한다.

ABSTRACT

There has been significant recent work on data-driven algorithms for learning general-purpose grasping policies. However, these policies can consistently fail to grasp challenging objects which are significantly out of the distribution of objects in the training data or which have very few high quality grasps. Motivated by such objects, we propose a novel problem setting, Exploratory Grasping, for efficiently discovering reliable grasps on an unknown polyhedral object via sequential grasping, releasing, and toppling. We formalize Exploratory Grasping as a Markov Decision Process, study the theoretical complexity of Exploratory Grasping in the context of reinforcement learning and present an efficient bandit-style algorithm, Bandits for Online Rapid Grasp Exploration Strategy (BORGES), which leverages the structure of the problem to efficiently discover high performing grasps for each object stable pose. BORGES can be used to complement any general-purpose grasping algorithm with any grasp modality (parallel-jaw, suction, multi-fingered, etc) to learn policies for objects in which they exhibit persistent failures. Simulation experiments suggest that BORGES can significantly outperform both general-purpose grasping pipelines and two other online learning algorithms and achieves performance within 5% of the optimal policy within 1000 and 8000 timesteps on average across 46 challenging objects from the Dex-Net adversarial and EGAD! object datasets, respectively. Initial physical experiments suggest that BORGES can improve grasp success rate by 45% over a Dex-Net baseline with just 200 grasp attempts in the real world. See https://tinyurl.com/exp-grasping for supplementary material and videos.

연구 동기 및 목표

• 일반적인 抓握 정책이 희박한 抓握이나 적대적인 기하학적 특성을 지닌 어려운 다면체 물체에서 반복적인 실패 문제를 해결하기 위해.
• 로봇이 抓握 결과에 따라 물체를 해제하거나 기울여서 순차적 상호작용을 통해 견고한 抓握을 학습하는 새로운 문제 설정인 탐색적 抓握(Exploratory Grasping)을 체계화하기 위해.
• 모든 안정된 자세에서 높은 성능을 내는 抓握를 효율적으로 탐색할 수 있는 모odal 무관(모달리티 무관)의 온라인 학습 알고리즘을 개발하기 위해.
• 이 구조화된 MDP 설정에서 온라인 抓握 탐색의 이론적 성능 한계와 노레그레트 보장(No-regret guarantee)을 제공하기 위해.
• 제안된 방법이 시뮬레이션과 실제 실험 모두에서 일반적인 抓握 파이프라인 및 다른 온라인 학습 기준 대비 우수한 성능을 보임을 경험적으로 검증하기 위해.

제안 방법

• 알 수 없는 다면체 물체의 안정된 자세를 상태로 하는 마르코프 결정 과정(MDP)으로 탐색적 抓握를 체계화하며, 성공/실패 피드백이 있는 抓握 尝시도를 행동으로 정의한다.
• 각 자세에서 높은 보상의 抓握을 우선적으로 탐색하여 낭비되는 타임스텝을 최소화하는 밴딧 스타일 알고리즘인 BORGES를 설계한다.
• 베르누이 분포 보상을 사용한 토머슨 샘플링(Thompson sampling)을 적용해 탐색과 이용의 균형을 이루며, 각 자세에서 고성능 抓握로의 빠른 수렴을 가능하게 한다.
• 실패 시 기울임을 전이 메커니즘으로 통합하여, 새로운 안정된 자세를 샘플링하고 전체 자세 공간을 탐색할 수 있도록 한다.
• 각 안정된 자세마다 별도의 정책을 유지하며, 최적 정책이 각 상태에서 탐욕적임을 활용하여 자세 간의 중복 탐색을 방지한다.
• 평행 쐐기, 흡착, 다손지 손아귀 등 어떤 抓握 모달리티와도 통합 가능하며, 일반적인 抓握 정책을 사전 지식으로 통합하여 어려운 케이스에서의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 로봇이 순차적 상호작용과 피드백만으로 희박한 고성능 抓握이 존재하는 어려운 다면체 물체에서 높은 품질의 抓握를 효율적으로 탐색할 수 있는가?
• RQ2 안정된 자세와 抓握 결과로 정의되는 MDP의 구조가 온라인 抓握 학습 알고리즘의 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 밴딧 기반 알고리즘이 일반적인 抓握 정책과 표준 강화학습 기준 대비 수렴 속도와 최종 성능 면에서 뛰어나게 되는가?
• RQ4 비적응 정책인 Dex-Net에 비해 BORGES는 다양한 안정된 자세에서의 抓握 성공률 변동성을 얼마나 줄이는가?
• RQ5 현장 환경에서 알고리즘이 어떻게 작동하며, 제한된 횟수의 尝시도 내에 거의 최적의 抓握 성공률을 달성할 수 있는가?

주요 결과

• Dex-Net의 적대적 및 EGAD! 데이터셋에서 유래한 46개의 어려운 물체에 대해, BORGES는 평균적으로 1000 타임스텝 이내에 최적 정책의 5% 이내 성능를 달성하였다.
• 시뮬레이션 실험에서 BORGES는 일반적인 抓握 파이프라인과 두 가지 다른 온라인 학습 알고리즘 모두를 뚜렷이 앞서며, 이전 방법의 기초 가정이 위반될 경우 특히 두각을 나타냈다.
• 두 개의 어려운 물체에서의 물리 실험 결과, BORGES는 클램프와 파이프에서 각각 0.89와 0.87의 抓握 성공률을 기록했으며, Dex-Net 기준 200회 尝시도 후 각각 0.49와 0.37이었다.
• BORGES와 Dex-Net 간의 성능 격차는 주로 Dex-Net이 피드백에 적응하지 못하기 때문이었으며, 그 성능는 매우 변동성이 있었고, BORGES는 신속하게 안정화되고 수렴하였다.
• 민감도 분석 결과, 최소 抓握 품질(ε) 또는 최소 확률을 갖는 안정된 자세(λ₁)가 매우 낮지 않은 한 BORGES는 매우 신속하게 수렴함을 확인하였으며, 현실 조건에서도 강인함을 입증하였다.
• 특히 각 자세마다 별도의 정책을 유지하고 낮은 보상 전이를 탐색하지 않는 방식으로 MDP의 구조를 유용하게 활용함으로써, BORGES는 테이블 기반 강화학습 방법(예: UCRL2 및 토머슨 샘플링)을 뛰어넘었다.