[논문 리뷰] 6DoF Object Pose Estimation via Differentiable Proxy Voting Loss

Xin Yu, Zheyu Zhuang외 2명|arXiv (Cornell University)|2020. 02. 10.

Robot Manipulation and LearningEngineering참고 문헌 17인용 수 22

한 줄 요약

이 논문은 6DoF 객체 자세 추정을 위한 미분 가능 프록시 투표 손실(DPVL)을 제안하며, 픽셀에서 키포인트까지의 거리를 통합함으로써 방향 벡터의 정확도를 향상시켜 가설의 편향을 감소시킨다. DPVL은 엔드 투 엔드 훈련을 가능하게 하여 LINEMOD 및 오cludtion LINEMOD 데이터셋에서 최신 기술 수준의 성능과 더 빠른 수렴 속도를 달성한다.

ABSTRACT

Estimating a 6DOF object pose from a single image is very challenging due to occlusions or textureless appearances. Vector-field based keypoint voting has demonstrated its effectiveness and superiority on tackling those issues. However, direct regression of vector-fields neglects that the distances between pixels and keypoints also affect the deviations of hypotheses dramatically. In other words, small errors in direction vectors may generate severely deviated hypotheses when pixels are far away from a keypoint. In this paper, we aim to reduce such errors by incorporating the distances between pixels and keypoints into our objective. To this end, we develop a simple yet effective differentiable proxy voting loss (DPVL) which mimics the hypothesis selection in the voting procedure. By exploiting our voting loss, we are able to train our network in an end-to-end manner. Experiments on widely used datasets, i.e., LINEMOD and Occlusion LINEMOD, manifest that our DPVL improves pose estimation performance significantly and speeds up the training convergence.

연구 동기 및 목표

• 단일 이미지 RGB 입력에서 부족한 무늬와 부분 가림 상황에서 정확도가 떨어지는 6DoF 자세 추정 문제를 해결하기 위해.
• 키포인트 투표 기반 추정에서 키포인트에서 멀리 떨어진 픽셀의 방향 벡터 오차로 인한 가설 편향을 줄이기 위해.
• 기존의 RANSAC과 같은 전통적인 투표 방법이 비가역적이므로, 투표 절차를 모방하는 미분 가능한 손실을 개발하여 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 재학습 없이도 가림에 대한 저항성과 훈련 수렴 속도를 향상시키기 위해.
• 방향 벡터 정확도와 픽셀에서 키포인트까지의 거리 양측을 고려한 프록시 가설을 통해 정확한 키포인트 위치 추정을 가능하게 하기 위해.

제안 방법

• DPVL은 각 픽셀에 대해 예측된 방향 벡터와 픽셀이 정의하는 선에 대해 진짜 키포인트에서 내린 수직선의 발을 이용해 프록시 가설을 생성한다.
• 손실 함수는 각 프록시 가설과 해당 진짜 키포인트 사이의 거리를 최소화하며, 방향 벡터 정확도와 공간적 거리 양측을 통합한다.
• 수직선의 발 계산은 가역적이므로, 엔드 투 엔드 훈련 중에 투표 근사치를 통해 역전파가 가능하다.
• 프록시 투표 손실과 표준 벡터 필드 회귀 손실은 학습 가능한 가중치 λ를 통해 결합되며, 두 목적 간의 균형을 이룬다.
• 정확한 비교를 위해 네트워크 아키텍처와 데이터 파이프라인은 PVNet과 동일하게 유지하며, 손실 함수만 수정된다.
• 훈련 수렴 속도가 가속화되어, PVNet이 200 에포크에서 최적 성능에 도달하는 데 비해 본 모델은 100 에포크 만에 도달한다.

실험 결과

연구 질문

• RQ1 어떻게 미분 가능한 지도 학습을 통해 가림과 무늬가 없는 조건에서 6DoF 객체 자세 추정을 향상시킬 수 있는가?
• RQ2 왜 작은 방향 벡터 오차가 투표 기반 키포인트 추정에서 큰 가설 편향을 유발하는가?
• RQ3 투표 과정을 근사하고 픽셀에서 키포인트까지의 거리를 고려하는 미분 가능한 손실을 설계할 수 있는가?
• RQ4 손실에 공간적 거리를 통합하면 키포인트 위치 추정 정확도와 훈련 수렴 속도가 향상되는가?
• RQ5 재학습 없이도 표준 벡터 필드 회귀보다 우수한 성능을 내는 미분 가능한 프록시 투표 손실을 설계할 수 있는가?

주요 결과

• 제안된 DPVL은 LINEMOD 및 오cludtion LINEMOD 데이터셋에서 최신 기술 수준의 성능을 달성하며, PVNet 및 다른 최신 기술 방법을 능가한다.
• 오cludtion LINEMOD 데이터셋에서 전체 ADD(-S) 점수를 최고로 기록하여 가림에 대한 뛰어난 저항성을 입증한다.
• 모델 수렴 속도가 크게 향상되어, PVNet이 200 에포크에서 최적 성능에 도달하는 데 비해 본 모델은 100 에포크 만에 도달한다.
• 프록시 가설의 분포가 진짜 키포인트 주변에 더 집중되어 있어, 벡터 필드 품질 향상과 투표 일관성 향상을 시사한다.
• 절단 실험 결과 λ = 1e-3이 최적의 균형을 이룬다는 것이 확인되었으며, 너무 크거나 너무 작은 값은 성능 저하를 유발한다.
• 일반화 성능이 뛰어나, 다른 방법들이 그러한 데이터에 대해 재학습이 필요로 하는 것과 달리, 오clud된 데이터에 대해 미세조정 없이도 강력한 성능을 기록한다.