[논문 리뷰] SegICP-DSR: Dense Semantic Scene Reconstruction and Registration

Jay Ming Wong, Syler Wagner외 9명|arXiv (Cornell University)|2017. 11. 06.

Robotics and Sensor-Based Localization참고 문헌 21인용 수 5

한 줄 요약

SegICP-DSR는 RGB-D 데이터를 의미 있는 포인트 클라우드로 융합하고, 시점별로 레이 캐스팅된 CAD 모델을 사용하며, 밀도 높은 의미론적 ElasticFusion 정렬을 적용하여 실시간으로 고밀도 의미론적 환경 재구성과 자세 추정을 수행하는 시스템이다. 이로 인해 1mm 수준의 자세 정확도(7.9 mm, σ=7.6 mm)와 도수 수준의 방향 정확도(1.7°, σ=0.7°)를 달성하여, 비구조화된 환경에서도 고정밀 로봇 조작이 가능해졌으며, 자세 추정 성공률는 97%에 달하고, 50번의 시험 중 48번의 타이트 톨러런스 삽입이 성공하였다.

ABSTRACT

To enable autonomous robotic manipulation in unstructured environments, we present SegICP-DSR, a real- time, dense, semantic scene reconstruction and pose estimation algorithm that achieves mm-level pose accuracy and standard deviation (7.9 mm, σ=7.6 mm and 1.7 deg, σ=0.7 deg) and suc- cessfully identified the object pose in 97% of test cases. This represents a 29% increase in accuracy, and a 14% increase in success rate compared to SegICP in cluttered, unstruc- tured environments. The performance increase of SegICP-DSR arises from (1) improved deep semantic segmentation under adversarial training, (2) precise automated calibration of the camera intrinsic and extrinsic parameters, (3) viewpoint specific ray-casting of the model geometry, and (4) dense semantic ElasticFusion point clouds for registration. We benchmark the performance of SegICP-DSR on thousands of pose-annotated video frames and demonstrate its accuracy and efficacy on two tight tolerance grasping and insertion tasks using a KUKA LBR iiwa robotic arm.

연구 동기 및 목표

• 혼잡하고 비구조화된 환경에서 로봇 조작을 위한 고정밀 자세 추정을 달성하는 데 도전한다.
• 기존 방법들이 약 1cm의 자세 오차로 정점에 도달하여, 페그-인-홀 삽입과 같은 타이트 톨러런스 작업에 부적합하다는 한계를 극복한다.
• 정확하고 변동성이 적은 6-DOF 물체 자세 추정을 지원하기 위해 실시간, 고밀도, 의미론적 환경 재구성을 가능하게 하여 상징적 작업 계획 및 복잡한 조작을 가능하게 한다.
• SegICP를 개선하여 어려운 실제 환경에서의 자세 추정 오차를 줄이고 성공률를 높인다.

제안 방법

• ElasticFusion을 사용하여 딥 의미론적 분할과 함께 RGB-D 이미지 시퀀스를 고밀도 의미론적 레이블이 부여된 포인트 클라우드로 융합한다.
• 현재 관측 기하학에 맞게 시점별로 CAD 모델을 레이 캐스팅하여 적합한 후보 포인트 클라우드를 생성한다.
• 반복적으로 가장 가까운 점(ICA) 알고리즘을 사용하고 의미론적 대응 메트릭을 적용하여 모델을 장면에 정렬하는 모델-투-스캔 정렬 단계를 적용한다.
• 어려운 조건에서도 딥 의미론적 분할의 강건성을 향상시키기 위해 적대적 훈련을 도입한다.
• 기하학적 정확도를 향상시키기 위해 카메라 내부 및 외부 파rameter의 보정을 자동화한다.
• 재구성된 포인트 클라우드의 고밀도이고 부드러운 출력을 활용하여 프레임 간 자세 추정의 노이즈와 분산을 감소시킨다.

실험 결과

연구 질문

• RQ1 고밀도 의미론적 환경 재구성은 비구조화되고 혼잡한 환경에서 6-DOF 물체 자세 추정 정확도를 크게 향상시킬 수 있는가?
• RQ2 표준 ICP 접근 방식에 비해 시점별로 레이 캐스팅된 CAD 모델이 정렬 정밀도를 얼마나 향상시키는가?
• RQ3 고밀도 재구성과 의미론적 분할을 통합함으로써 자세 추정의 분산은 얼마나 감소하고, 타이트 톨러런스 조작 작업의 성공률는 어떻게 향상되는가?
• RQ4 폐쇄형 피드백에 의존하지 않고도 실시간으로 고정밀 자세 추정을 달성할 수 있는가? 이는 복잡한 환경에서 개방형 조작을 가능하게 하는가?
• RQ5 자동 카메라 보정과 적대적 훈련이 전체 시스템의 강건성과 정확도에 미치는 영향은 무엇인가?

주요 결과

• SegICP-DSR는 1mm 수준의 위치 정확도(평균 7.9 mm, σ=7.6 mm)와 도수 수준의 방향 정확도(평균 1.7°, σ=0.7°)를 달성하여, SegICP 대비 정확도 29% 향상.
• 수천 개의 영상 프레임을 대상으로 한 물체 자세 식별 성공률는 97%에 달하며, SegICP 대비 14% 향상.
• 타이트 톨러런스 페그-인-홀 삽입 작업에서 SegICP-DSR는 50번 중 48번 성공했고, SegICP는 50번 중 27번 성공하여 뚜렷한 성능 향상 확인.
• 자세 추정 분산은 극적으로 감소: 유클리드 표준편차는 SegICP의 4.37 mm에서 SegICP-DSR의 0.15 mm로 감소하였고, 오일러 표준편차는 1.42°에서 0.03°로 감소.
• SegICP-DSR의 고밀도이고 부드러운 포인트 클라우드 출력은 추가 필터링 없이도 자세 추정 노이즈를 자연스럽게 감소시켜 매우 안정적인 자세 추정을 가능하게 한다.
• 시스템은 자세 추정과 역기구학만을 사용하여 개방형 그립과 삽입을 성공적으로 수행하였으며, 오토바이 엔진 커버에 대해 20번 중 17번의 그립 성공률 기록.