[논문 리뷰] GlassLoc: Plenoptic Grasp Pose Detection in Transparent Clutter

Zheming Zhou, Tianyang Pan외 3명|arXiv (Cornell University)|2019. 09. 10.

Robot Manipulation and Learning참고 문헌 27인용 수 5

한 줄 요약

GlassLoc는 다중 시점 빛장치 영상으로부터 풍경 기반의 관찰을 사용하여 혼잡한 환경에서 투명 물체의 그립 자세 검출 시스템을 제안한다. 하위 조리개 영상에서 깊이 가능성 부피(DLV)를 구성하여 투명 물체의 점유를 추론함으로써, 정확한 6-자유도 그립 검출이 가능해졌으며, 가벼운 혼잡함 속에서 5종류의 유리용기에서 220회의 그립 시험에 대해 81%의 성공률을 달성하였다.

ABSTRACT

Transparent objects are prevalent across many environments of interest for dexterous robotic manipulation. Such transparent material leads to considerable uncertainty for robot perception and manipulation, and remains an open challenge for robotics. This problem is exacerbated when multiple transparent objects cluster into piles of clutter. In household environments, for example, it is common to encounter piles of glassware in kitchens, dining rooms, and reception areas, which are essentially invisible to modern robots. We present the GlassLoc algorithm for grasp pose detection of transparent objects in transparent clutter using plenoptic sensing. GlassLoc classifies graspable locations in space informed by a Depth Likelihood Volume (DLV) descriptor. We extend the DLV to infer the occupancy of transparent objects over a given space from multiple plenoptic viewpoints. We demonstrate and evaluate the GlassLoc algorithm on a Michigan Progress Fetch mounted with a first-generation Lytro. The effectiveness of our algorithm is evaluated through experiments for grasp detection and execution with a variety of transparent glassware in minor clutter.

연구 동기 및 목표

• 투명성으로 인해 깊이 센서가 실패하는 혼잡한 환경에서 로봇 인식 및 조작 문제를 해결한다.
• 기존의 RGB-D 센싱이 투명 물체를 탐지하는 데 한계를 가진 점을 보완하기 위해 빛장치 영상 기반의 개선된 깊이 추정을 활용한다.
• 다중 시점 빛장치 관측에서 깊이 가능성 부피(DLV)를 일반화된 방법으로 구성하여 투명 물체의 점유를 모델링한다.
• DLV 기반의 그립 검출을 전체 로봇 조작 파이프라인에 통합하여 실제 혼잡한 환경에서의 옮기기 작업을 수행한다.
• 다양한 투명 유리용기에서 가벼운 혼잡 및 겹치는 혼잡 구성 조건에서의 견고한 성능을 입증한다.

제안 방법

• 로봇 종단기구에 장착된 1세대 릿로 빛장치 카메라를 사용하여 다중 시점 풍경 관측을 촬영한다.
• 노이즈가 많은 가장자리 영상은 제거하고 원시 빛장치 데이터에서 7×7 하위 조리개 영상을 추출하여 깊이 추정 품질을 향상시킨다.
• 다중 레이 융합과 반사율 억제를 사용하여 공간 전역의 깊이 가능성에 대한 3차원 볼록 격자로 구성된 깊이 가능성 부피(DLV)를 생성한다.
• 그립퍼 기하학에 기반하여 DLV 내에서 그립 후보를 샘플링하고 이를 평가를 위해 세계 좌표계로 변환한다.
• 각 그립 후보 주변의 DLV 부피에서 9채널 회색조 영상 특징을 추출하고, LeNet 기반의 CNN을 사용하여 두 클래스(그립 가능한지 여부)로 분류한다.
• 이동성(10⁻⁴ m²)과 회전성(0.03 rad²)의 공분산 매개변수를 사용하여 100개의 입자와 100회의 반복을 수행하는 입자 필터링을 통해 그립 자세 추정을 정밀하게 조정한다.

실험 결과

연구 질문

• RQ1 표준 깊이 센서가 실패하는 혼잡한 환경에서 빛장치 감지가 투명 물체의 그립 가능한 자세를 효과적으로 탐지할 수 있는가?
• RQ2 빛장치 데이터에서 유도된 다중 시점 깊이 가능성 부피(DLV)가 3차원 공간에서 투명 물체의 점유를 얼마나 잘 표현하는가?
• RQ3 DLV 특징 기반의 학습된 그립 분류기가 가벼운 혼잡 환경에서 다양한 투명 유리용기 간에 얼마나 일반화되는가?
• RQ4 GlassLoc를 통합한 전체 로봇 조작 파이프라인의 성능은 실제 테이블탑 옮기기 작업에서 어떻게 나타나는가?
• RQ5 물체 기하학적 형태와 그립퍼 설계가 투명 혼잡 환경에서의 그립 성공률에 어떤 영향을 미치는가?

주요 결과

• GlassLoc 시스템은 8개의 복잡한 투명 혼잡 장면에서 총 220회의 그립 시험에 대해 총 81%의 성공률를 기록하였다.
• 장면별로 대부분의 경우 75% 이상의 성공률를 기록하였으며, 두 장면에서는 각각 100%와 85%의 성공률를 달성하였다.
• 와인 컵은 92%의 성공률(60회 시험)을 기록하여 가장 높은 성과를 보였고, 단단한 컵은 65%의 성공률(40회 시험)로 가장 낮았으며, 이는 날카로운 기울어진 표면과 힘 피드백 부족으로 인한 것으로 분석되었다.
• spoon은 70%의 성공률를 기록하여 날렵하고 낮은 프로파일을 가진 투명 물체에서의 도전 과제를 반영하고 있다.
• 불완전한 MATLAB 코드를 사용할 경우, DLV 생성 과정은 평균적으로 각 시점당 약 10분이 소요되었으며, 빛장치 디코딩과 레이 대응이 성능 저하 요인으로 확인되었다.
• 장면 (g)에서 100%의 옮기기 작업이 성공적으로 수행되어, 최대 4개의 겹치는 투명 물체가 존재하는 장면에서도 견고함을 입증하였다.