[논문 리뷰] Robust 6D Object Pose Estimation by Learning RGB-D Features

Meng Tian, Liang Pan외 2명|arXiv (Cornell University)|2020. 02. 29.

Robot Manipulation and Learning참고 문헌 42인용 수 4

한 줄 요약

이 논문은 RGB-D 특징을 사용하여 강건한 6차원 물체 자세 추정을 위한 새로운 딥러닝 방법을 제안한다. 이는 회전 회귀에서의 국소 최적값 문제를 이산-연속 형식의 회전 앵커와 불확실성 인식 기반의 편차 예측을 통해 해결한다. 제안된 방법은 LINEMOD(92.8% ADD)와 YCB-Video(83.8% ADD)에서 최신 기준(SOTA) 성능을 달성하며, 작은 텍스처가 없는 물체에서 이전의 RGB-D 방법 대비 최대 6.6% 향상된 성능을 보이며, 겹침과 조명 변화에 대해 뛰어난 강건성을 보여준다. 이는 회전과 변위를 별도로 제약 있는 회귀 방식으로 처리함으로써 달성된다.

ABSTRACT

Accurate 6D object pose estimation is fundamental to robotic manipulation and grasping. Previous methods follow a local optimization approach which minimizes the distance between closest point pairs to handle the rotation ambiguity of symmetric objects. In this work, we propose a novel discrete-continuous formulation for rotation regression to resolve this local-optimum problem. We uniformly sample rotation anchors in SO(3), and predict a constrained deviation from each anchor to the target, as well as uncertainty scores for selecting the best prediction. Additionally, the object location is detected by aggregating point-wise vectors pointing to the 3D center. Experiments on two benchmarks: LINEMOD and YCB-Video, show that the proposed method outperforms state-of-the-art approaches. Our code is available at https://github.com/mentian/object-posenet.

연구 동기 및 목표

• 대칭 물체와 모호한 회전 예측으로 인해 발생하는 6차원 물체 자세 추정의 국소 최적값 문제를 해결하기 위해.
• RGB-D 기반 자세 추정에서 겹침, 배경 혼잡도, 다양한 조명 조건에 대한 강건성을 향상시키기 위해.
• 밀집 추출된 RGB-D 특징을 사용하여 회전과 변위를 별도로 회귀하는 통합 딥 네트워크를 개발하기 위해.
• 가장 신뢰할 수 있는 자세 가설 선택을 향상시키기 위해, 각 회전 앵커에 대한 불확실성 인식 예측을 도입하기 위해.
• 로봇 조작 응용에 적합한 실시간 추론 속도를 달성하기 위해.

제안 방법

• SO(3) 전역에 균일하게 샘플링된 회전 앵커를 사용하여 회전 공간을 이산화함으로써 局소적 회귀를 가능하게 한다.
• 각 앵커에 대해 목표 회전으로 향하는 제약된 편차 벡터를 예측함으로써 국소 최적값의 위험을 감소시킨다.
• 각 앵커에 대해 불확실성 점수를 예측하고, 추론 시 가장 신뢰도 높은 회전 추정치를 선택하는 데 사용한다.
• 변위는 각 점에서 3차원 물체 중심 향한 단위 벡터를 회귀한 후, RANSAC 기반 투표 레이어를 통해 예측치를 집계함으로써 추정한다.
• 회전 및 변위 손실 함수의 조합을 사용하여 엔드 투 엔드로 네트워크를 훈련시키며, 자기지도 조건부 확률 최대화를 통한 불확실성 감독을 적용한다.
• RGB-D 특징은 CNN 백본을 사용하여 밀집 추출되며, 색상과 기하 정보를 융합하여 향상된 특징 표현을 제공한다.

실험 결과

연구 질문

• RQ1 6차원 자세 추정에서 이산-연속 형식의 회전 회귀가 국소 최적값 문제를 줄일 수 있는가?
• RQ2 대칭 물체의 모호성 하에서 불확실성 인식 예측이 회전 추정의 강건성에 어떻게 기여하는가?
• RQ3 회전과 변위를 별도로 회귀하는 방식이 공동 최적화 대비 정확도와 강건성 측면에서 더 우수한 성능을 낼 수 있는가?
• RQ4 밀집 RGB-D 특징 추출이 텍스처가 없는 또는 겹쳐진 물체에서 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법이 표준 벤치마크에서 높은 정확도를 유지하면서도 실시간 추론을 달성할 수 있는가?

주요 결과

• 제안된 방법은 ADD 지표를 사용해 LINEMOD 데이터셋에서 92.8%의 정확도를 달성하였으며, 이는 이전 최신 기준 방법(86.3%)보다 뚜렷이 뛰어나다.
• 더 도전적인 YCB-Video 데이터셋에서는 ADD 지표로 83.8%의 정확도를 기록하였으며, 이는 이전 최신 기준 방법인 Per-Pixel DF(79.2%)보다 4.6% 향상된 성능이다.
• 작고 텍스처가 없는 'holepuncher' 물체에 대해 기준 방법 대비 13.6% 높은 정확도를 보이며, 낮은 텍스처 도전 상황에 대한 강건성을 입증한다.
• LINEMOD에서 PVNet 및 Per-Pixel DF 대비 6.6% 높은 검출 정확도를 기록하였으며, 특히 대칭적이고 작은 물체에서 뛰어난 성능을 보였다.
• 단일 GPU에서 약 14 FPS(프레임당 0.07초)로 실행되어 로봇 응용에 적합한 실시간 추론을 가능하게 한다.
• 정성적 결과는 이산-연속 회전 형식 덕분에 PoseCNN과 DenseFusion에서 흔히 발생하는 국소 최적값 예측을 피함을 보여주며, 특히 대칭 물체에서 두드러진다.