[논문 리뷰] X-Ray: Mechanical Search for an Occluded Object by Minimizing Support of Learned Occupancy Distributions

Michael Danielczuk, Anelia Angelova외 2명|arXiv (Cornell University)|2020. 04. 20.

Robot Manipulation and Learning참고 문헌 40인용 수 14

한 줄 요약

X-Ray는 혼잡한 힙에서 가려진 목표 물체를 효율적으로 추출하기 위해 학습된 점유 분포의 지지 집합을 최소화하는 기계적 탐색 알고리즘입니다. 합성 RGBD 데이터를 기반으로 신경망을 훈련시켜 목표 물체의 점유 분포를 예측함으로써, X-Ray는 시뮬레이션과 실제 환경 모두에서 베이스라인보다 뛰어난 성능을 보이며, 시뮬레이션에서 82%의 성공률과 실제 실험에서 평균 17% 적은 동작 수로 100%의 성공률을 달성합니다.

ABSTRACT

For applications in e-commerce, warehouses, healthcare, and home service, robots are often required to search through heaps of objects to grasp a specific target object. For mechanical search, we introduce X-Ray, an algorithm based on learned occupancy distributions. We train a neural network using a synthetic dataset of RGBD heap images labeled for a set of standard bounding box targets with varying aspect ratios. X-Ray minimizes support of the learned distribution as part of a mechanical search policy in both simulated and real environments. We benchmark these policies against two baseline policies on 1,000 heaps of 15 objects in simulation where the target object is partially or fully occluded. Results suggest that X-Ray is significantly more efficient, as it succeeds in extracting the target object 82% of the time, 15% more often than the best-performing baseline. Experiments on an ABB YuMi robot with 20 heaps of 25 household objects suggest that the learned policy transfers easily to a physical system, where it outperforms baseline policies by 15% in success rate with 17% fewer actions. Datasets, videos, and experiments are available at https://sites.google.com/berkeley.edu/x-ray.

연구 동기 및 목표

• 목표 물체가 완전히 또는 부분적으로 가려져 있을 때 혼잡한 힙에서 이를 효율적으로 탐색하고 추출할 수 있는 기계적 탐색 정책을 개발하는 것.
• 비정형 환경에서 로봇 물체 탐색 중 인식 및 액추에이션의 가려짐과 불확실성 문제를 해결하는 것.
• 실제 환경 레이블링이 필요 없이 합성 데이터에서 학습된 정책이 실제 로봇 시스템으로 일반화될 수 있도록 만드는 것.
• 손잡이 선택을 안내하는 데 사용되는 학습된 점유 분포를 활용하여 목표 물체를 추출하기 위해 필요한 동작 수를 줄이는 것.

제안 방법

• 100,000장의 RGBD 이미지로 구성된 합성 데이터셋에서, 단일 목표 물체의 점유 분포를 레이블링한 데이터를 기반으로 딥 네트워크를 훈련합니다.
• 네트워크를 사용해 각 픽셀이 목표 물체의 일부를 포함할 가능성을 나타내는 픽셀 단위의 점유 분포를 예측합니다.
• 예측된 점유 분포의 지지 집합(면적)을 최소화하도록 하는 액션을 선택하는 손잡이 정책을 수립함으로써, 목표를 폭로하기 위해 필요한 동작 수를 줄입니다.
• 점유 예측과 분할 마스크, 손잡이 품질 평가를 결합하여 액션 선택을 안내하면서 정확한 분할에 대한 의존도를 줄입니다.
• 합성 이미지에서 실제 이미지로의 전이 학습을 활용해 시뮬레이션과 실제 ABB YuMi 로봇에서 정책을 적용합니다.
• 점유 분포의 지지 집합을 줄이는 데 중점을 두는 보상 기반 메커니즘을 도입하여, 목표 폭로 속도를 높입니다.

실험 결과

연구 질문

• RQ1 학습된 점유 분포가 가려진 힙 환경에서 기계적 탐색을 효과적으로 안내할 수 있는가?
• RQ2 합성 데이터에서 학습된 정책이 실제 센서 데이터를 사용하는 실제 로봇 시스템으로 얼마나 잘 일반화되는가?
• RQ3 점유 분포의 지지 집합을 최소화하는 것이 목표 물체 추출에 있어 더 적은 동작 수와 높은 성공률을 이끌어내는가?
• RQ4 다양한 가려짐 수준에서 X-Ray 정책은 베이스라인 정책에 비해 동작 효율성과 성공률 측면에서 어떻게 비교되는가?
• RQ5 이 방법이 정확한 분할 마스크나 이진 목표 물체 검출에 얼마나 의존도를 줄이는가?

주요 결과

• 시뮬레이션에서는 X-Ray가 15개 물체로 구성된 1,000개의 힙에서 목표 물체를 추출하는 데 82%의 성공률을 기록했으며, 가장 우수한 베이스라인보다 15% 높았습니다.
• 실제 ABB YuMi 로봇에서는 25개의 가정용 물체로 구성된 20개의 물리적 힙에서 X-Ray가 100%의 성공률을 기록했으며, 성공률 측면에서 베이스라인보다 15% 높았습니다.
• 물리 실험에서 X-Ray는 목표 물체를 추출하는 데 중앙값으로 5회의 동작을 필요로 했으며, 베이스라인 정책보다 평균 17% 적은 동작 수를 기록했습니다.
• 모든 성공적인 실험 런다운이 10회의 동작 이내에 완료되었고, 베이스라인 평균 6회 대비 동작 수의 변동성이 낮아졌습니다.
• X-Ray는 정확하지 않은 분할 마스크와 부분적인 가시성에 대해서도 강건성을 보였으며, 목표 물체가 완전히 가려져 있을 때도 성능을 유지했습니다.
• 합성 데이터에서 실제 환경으로의 전이가 성공적으로 이루어졌으며, 실제 데이터에 대한 피팅 조정이 필요 없었습니다.