[논문 리뷰] Iterative Visual Recognition for Learning Based Randomized Bin-Picking

Kensuke Harada, Weiwei Wan외 4명|arXiv (Cornell University)|2016. 08. 01.

Robot Manipulation and Learning참고 문헌 3인용 수 4

한 줄 요약

이 논문은 학습 기반의 무작위 박스 피킹을 위한 반복적 시각 인식 시스템을 제안하며, 이전에 캡처한 포인트 클라우드 데이터를 재사용하여 계산 비용을 절감한다. 이전 시도에서의 가림 영역을 융합하고, 새로 보이는 또는 변경된 물체 세그먼트에 대해서만 자세를 재추정함으로써, 정확도를 유지하면서도 자세 검출 속도를 향상시킨다. 이는 이중 암 로봇에 3차원 시각 센서를 탑재하여 검증되었다.

ABSTRACT

This paper proposes a iterative visual recognition system for learning based randomized bin-picking. Since the configuration on randomly stacked objects while executing the current picking trial is just partially different from the configuration while executing the previous picking trial, we consider detecting the poses of objects just by using a part of visual image taken at the current picking trial where it is different from the visual image taken at the previous picking trial. By using this method, we do not need to try to detect the poses of all objects included in the pile at every picking trial. Assuming the 3D vision sensor attached at the wrist of a manipulator, we first explain a method to determine the pose of a 3D vision sensor maximizing the visibility of randomly stacked objects. Then, we explain a method for detecting the poses of randomly stacked objects. Effectiveness of our proposed approach is confirmed by experiments using a dual-arm manipulator where a 3D vision sensor and the two-fingered hand attached at the right and the left wrists, respectively.

연구 동기 및 목표

• 각 시도마다 모든 물체 자세를 재검출하는 데 소요되는 높은 계산 비용을 해결한다.
• 연속적인 피킹 시도 간의 시각 일관성을 활용하여 불필요한 자세 추정을 최소화한다.
• 최적의 3차원 시각 센서 자세 계획을 통해 랜덤으로 쌓인 물체의 센서 가시성을 극대화한다.
• 자세 추정의 효율성과 정확도를 향상시켜 학습 기반의 성공 예측을 가능하게 한다.
• 변경된 부분에 집중함으로써 실시간 박스 피킹의 처리 시간을 단축시킨다.

제안 방법

• 로봇 손목에 장착된 3차원 시각 센서를 사용해 무작위로 쌓인 물체의 포인트 클라우드를 캡처한다.
• 기존 및 현재 시도의 포인트 클라우드를 융합하고, 점령 격자 지도를 사용하여 가시성을 극대화함으로써 최적의 센서 자세를 결정한다.
• 현재 및 이전 포인트 클라우드를 영역으로 분할하고, 최근접 이웃 검색을 통해 유사 영역을 식별한다.
• 거리 임계값에 대한 먼 점 대비 가까운 점의 비율 기반 융합 규칙을 적용하여, 이전 포인트 클라우드의 세그먼트를 포함할지 여부를 결정한다.
• 크기가 크게 다른 세그먼트에 대해서는 두 단계 방법(고유 특성 기반 추정 → ICP 정밀 조정)을 사용해 객체 자세를 재추정한다.
• 현재 세그먼트와 이전 자세 추정 간의 거리가 임계값 이하일 경우, 이전에 추정한 객체 자세를 재사용한다.

실험 결과

연구 질문

• RQ1 이전 시각 데이터를 재사용함으로써 반복적 시각 인식이 무작위 박스 피킹에서 객체 자세 검출의 계산 비용을 줄일 수 있는가?
• RQ2 무작위로 쌓인 물체의 가시성을 극대화하기 위해 센서 자세를 어떻게 최적화할 수 있는가?
• RQ3 이전 포인트 클라우드 데이터를 현재 데이터와 얼마나 신뢰성 있게 융합할 수 있는가?
• RQ4 선택적 재추정이 자세 검출 정확도와 처리 시간에 어떤 영향을 미치는가?
• RQ5 학습 기반 시스템이 시도 간에 자세 추정을 효율적으로 업데이트함으로써 피킹 성공률를 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 각 시도마다 모든 객체 자세를 완전히 재검출하지 않음으로써 계산 비용을 크게 절감한다.
• 이전 포인트 클라우드 세그먼트를 현재 데이터와 융합함으로써 가림을 줄이고, 이전에 가려졌던 물체 부분의 가시성을 향상시킨다.
• 시도 간에 변화가 큰 세그먼트에 대해서만 자세 추정을 수행하므로 처리 시간이 감소한다.
• 반복적 시각 인식을 사용하여 이중 암 로봇 구조에서 물체를 성공적으로 검출하고 피킹하는 데 성공했다.
• 실험 결과는 그림 7의 격자 셀 시각화에서 보듯이, 객체 인식이 새로 캡처하거나 변화한 영역에서만 수행됨을 확인했다.
• 변경된 부분에 집중함으로써 계산 자원을 효율적으로 활용함으로써 학습 기반의 박스 피킹을 가능하게 했다.