[논문 리뷰] Never Mind the Bounding Boxes, Here's the SAND Filters

Zhiqiang Sui, Zhefan Ye외 1명|arXiv (Cornell University)|2018. 08. 15.

Robot Manipulation and Learning참고 문헌 24인용 수 3

한 줄 요약

이 논문은 풍경이 혼잡한 환경에서 6차원 물체 자세 추정을 햖을 때 성능을 향상시키기 위해 CNN 기반 객체 검출과 생성 샘플링 기반 국소 검색을 조합한 이단계 방법인 SAND 필터를 제안한다. CNN 신뢰도 점수를 활용하고 입자 필터링을 통해 가설을 반복적으로 개선함으로써 SAND는 임의의 오진과 부족을 줄이며, 분류 기반 정렬 작업에서 95.2%의 자세 추정 성공률과 88.1%의 작업 완료율을 달성한다.

ABSTRACT

Perception is the main bottleneck to perform autonomous mobile manipulation tasks, especially in cluttered and unstructured environment. In this paper, we propose a novel two-stage paradigm that leverage both CNN object prior and generative sampling to perform object detection and 6D pose estimation. Our two-stage approach builds upon both CNN and generative sampling-based local search method to achieve sampling the network density, or SAND filter. We show the quantitative results that SAND effectively improve object detection result by reducing false positive and false negative recognitions, and further produces accurate pose estimation. We also conduct extensive categorical object sorting experiments to show our method is able to produce accurate and reliable detections and object poses.

연구 동기 및 목표

• 기존의 CNN 모델이 음영과 시점 변화로 인해 실패하는 혼잡하고 비정형적인 환경에서 정확한 객체 검출 및 6차원 자세 추정에 도전한다.
• 종단간 객체 검출기의 한계를 극복하기 위해 두 단계 프레임워크를 통해 검출과 자세 보정을 분리한다.
• 딥 러닝 사전 지식과 확률적 샘플링 기반 보정을 융합하여 이동형 조작 작업의 인식 능력과 신뢰성을 향상시킨다.
• 하류 작업인 잡기 및 배치 작업을 위한 정확한 자세 추정과 신뢰할 수 있는 검출을 결합하여 정확한 분류 기반 물체 정렬을 가능하게 한다.

제안 방법

• 첫 번째 단계에서 신뢰도 점수 기반 임계값 필터링 없이 CNN 기반 검출기를 사용하여 객체 경계 상자와 함께 점수를 생성한다.
• 두 번째 단계에서 각 경계 상자에 해당하는 깊이 이미지를 자르고, 입자 필터(SAND 필터)를 적용하여 물체 자세 가설을 정밀하게 보정한다.
• 각 입자는 6차원 물체 자세를 나타내며, 가중치는 CNN 신뢰도, 3D 모델에서 렲한 깊이, 센서에서 관측된 깊이를 기반으로 업데이트된다.
• 가능도에 기반해 입자를 반복적으로 재표본화함으로써 음영과 혼잡함에도 불구하고 가장 가능성이 높은 자세로 수렴할 수 있다.
• 이 방법은 모듈식이며 다양한 CNN 검출기와 다른 두 번째 단계 방법(예: ICP, FPFH)과도 호환된다.
• 향후 연구에서 순차적 관측 확장과 다중 물체 인스턴스 검출을 지원할 수 있다.

실험 결과

연구 질문

• RQ1 CNN 기반 검출과 생성 샘플링을 조합한 이단계 접근 방식이 종단간 검출기 대비 혼잡하고 음영이 많은 환경에서 6차원 자세 추정 성능을 향상시킬 수 있는가?
• RQ2 SAND 필터는 기준 CNN 전용 방법 대비 얼마나 많은 오진과 부족을 줄였는가?
• RQ3 생성 샘플링 기반 보정 단계는 도전적인 시각 조건 하에서 자세 추정 정확도를 어떻게 향상시키는가?
• RQ4 SAND 필터는 실제 로봇 조작 작업에서 신뢰할 수 있는 분류 기반 물체 정렬을 가능하게 하는가?

주요 결과

• SAND 필터는 분류 기반 정렬 작업에서 42개의 물체 인스턴스에 대해 95.2%의 자세 추정 성공률를 기록하여 기준 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 0.02미터의 좁은 거리 임계값 조건에서도 SAND 필터는 60% 이상의 자세 추정 정확도를 확보하여 작은 자세 오차에 대한 강건성을 입증했다.
• 동일한 첫 번째 단계 검출기와 함께 사용했을 때, 두 번째 단계의 생성 샘플링 방법이 ICP 및 FPFH를 모두 능가함을 확인하여 자세 보정에서의 우수성을 입증했다.
• 작업 완료 성공률는 88.1%(42개 시퀀스 중 37개)에 달하여 시스템의 실용적 타당성을 입증했다.
• 잡기 실패가 주요 제약 요소였으며(5건의 실패 중 3건), 촉각 피드백이 없는 개방형 하드 그립퍼를 사용한 것이 원인으로 분석되었다.
• 이 방법은 모듈식이며 일반화 가능성이 높아, 수정 최소화로 다른 CNN 검출기와 두 번째 단계 구성 요소에 쉽게 적용할 수 있다.