[논문 리뷰] L6DNet: Light 6 DoF Network for Robust and Precise Object Pose Estimation with Small Datasets

Mathieu Gonzalez, Amine Kacete외 2명|arXiv (Cornell University)|2020. 02. 03.

Robot Manipulation and Learning참고 문헌 44인용 수 16

한 줄 요약

L6DNet는 단일 RGB-D 이미지에서 6 DoF 물체 자세 추정을 위한 이중 단계 하이브리드 방법을 제안한다. CNN의 연쇄 구조를 통해 카메라 좌표계에서의 3D 키포인트 위치를 예측한 후, 기하학적 레지istration을 통해 최종 자세를 계산한다. LineMod 데이터셋에서 최신 기술 수준의 정확도를 달성하며, 특히 소규모 데이터셋과 무문자 물체에서 높은 정밀도와 강건성을 갖춘 실시간 시각 서보 제어를 가능하게 한다.

ABSTRACT

Estimating the 3D pose of an object is a challenging task that can be considered within augmented reality or robotic applications. In this paper, we propose a novel approach to perform 6 DoF object pose estimation from a single RGB-D image. We adopt a hybrid pipeline in two stages: data-driven and geometric respectively. The data-driven step consists of a classification CNN to estimate the object 2D location in the image from local patches, followed by a regression CNN trained to predict the 3D location of a set of keypoints in the camera coordinate system. To extract the pose information, the geometric step consists in aligning the 3D points in the camera coordinate system with the corresponding 3D points in world coordinate system by minimizing a registration error, thus computing the pose. Our experiments on the standard dataset LineMod show that our approach is more robust and accurate than state-of-the-art methods. The approach is also validated to achieve a 6 DoF positioning task by visual servoing.

연구 동기 및 목표

• 부정확한 물체, 텍스처가 없는 물체, 다양한 조명 조건이 존재하는 복잡한 환경에서 정확하고 강건한 6 DoF 물체 자세 추정 문제를 해결한다.
• 기하학적 레지스트레이션을 통해 키포인트 예측과 자세 계산을 분리함으로써 엔드 투 엔드 딥 러닝 방법의 한계를 극복한다.
• 대규모 애너테이션 데이터에 의존하지 않고도 높은 정확도의 자세 추정을 가능하게 하기 위해 소규모 학습 데이터셋을 활용한다.
• 이미지의 변형에 강건하며, 시각 서보 제어와 같은 실시간 로봇 응용 분야에 적합한 방법을 설계한다.

제안 방법

• 두 단계 파이프라인을 사용: 데이터 기반 단계에서는 3D 키포인트 예측을 수행하고, 기하학적 단계에서는 3D-3D 레지스트레이션을 통해 자세를 계산한다.
• 먼저, 분류 CNN이 국소 이미지 패치를 처리하여 2D 물체 위치를 추정함으로써 키포인트 회귀를 선택적으로 수행한다.
• 그런 다음, 회귀 CNN이 RGB-D 패치에서 카메라 좌표계 내의 흩어진 키포인트의 3D 좌표를 예측한다.
• 여러 패치에 걸쳐 투표 메커니즘을 적용하여 다수의 3D 키포인트 가설을 하나의 강건한 추정치로 통합한다.
• 예측된 카메라 공간 점들과 알려진 물체 키포인트의 3D 세계 좌표 간의 3D-3D 레지스트레이션 오차를 최소화하여 최종 6 DoF 자세를 계산한다.
• 작은 수신장과 낮은 스트라이드 패치 추출을 통해 빠르고 정확한 성능를 유지하기 위해 경량 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 소규모 데이터셋 제약 조건 하에서, 하이브리드 학습-기하학적 접근 방식이 엔드 투 엔드 딥 러닝 방법보다 우월한 성능을 보일 수 있는가?
• RQ2 카메라 공간에서 3D 키포인트를 예측하고 3D-3D 레지스트레이션을 해결하는 것이 2D-3D 대응 또는 직접 자세 회귀보다 더 높은 정확도를 제공하는가?
• RQ3 패치 기반의 투표 전략은 텍스처가 없거나 부분적으로 가림을 받는 물체의 정확도와 강건성 향상에 얼마나 효과적인가?
• RQ4 RGB-only 입력에 비해 깊이 데이터의 포함이 키포인트 회귀 및 자세 추정 성능 향상에 얼마나 기여하는가?
• RQ5 이 방법은 로봇 조작을 위한 시각 서보 제어 작업에서 실시간 성능과 안정성을 달성할 수 있는가?

주요 결과

• L6DNet는 RGB-only 입력을 사용할 경우 LineMod 데이터셋에서 평균 ADD-S 정확도 96.9%를 달성했고, RGB-D 입력을 사용할 경우 96.7%를 기록하여 제한된 데이터 조건에서도 뛰어난 성능를 보였다.
• 드릴러 물체의 경우, 패치 크기 32×32와 스트라이드 4 픽셀 조건에서 98.7% ADD-S 정확도를 달성했으며, 추론 시간은 525 ms 이하였다.
• 투표 메커니즘이 정확도를 크게 향상시켰다: 단일 80×80 패치를 사용할 경우 아프리카 원숭이 물체의 ADD-S 정확도는 44.2%에 머물렀지만, 다수의 패치를 사용할 경우 78.2%로 상승했다.
• 높은 시각 서보 제어 정확도를 달성했으며, 120회의 반복 후 최종 오차 ∆r = (1.2mm, -1.6mm, -0.4mm, -0.09°, -0.18°, 0.07°)를 기록하여 안정적이고 정밀한 카메라 제어를 가능하게 했다.
• 추론 시간은 패치 크기가 증가함에 따라 증가하여 80×80 패치에서 최대 634.9 ms에 도달했지만, 정확도는 64×64에서 최고에 도달한 후 감소하는 경향을 보이며 최적의 패치 크기의 트레이드오프가 있음을 시사했다.
• 깊이 입력은 일부 물체(예: 카메라, 드릴러)의 성능 향상에 기여하지만, 다른 물체에는 덜 중요한 편이며, 특정 텍스처에서는 RGB-only 패치가 더 분류 능력이 뛰어나다는 점을 확인했다.