[논문 리뷰] W-PoseNet: Dense Correspondence Regularized Pixel Pair Pose Regression

Zelin Xu, Ke Chen외 1명|arXiv (Cornell University)|2019. 12. 26.

Robot Manipulation and Learning참고 문헌 46인용 수 16

한 줄 요약

이 논문은 희박한 픽셀 쌍에서 저질 랭크 이중선형 풀링과 정규화된 3D 좌표로의 조밀한 대응 맵핑을 통해 자세를 회귀하는 새로운 6D 물체 자세 추정 네트워크인 W-PoseNet을 제안한다. YCB-Video 및 LineMOD 벤치마크에서 최신 기술 수준을 달성하며, 정련 없이도 DenseFusion을 최대 7% 뛰어넘고, 부분 가림 상황에서도 뛰어난 강인성을 보인다.

ABSTRACT

Solving 6D pose estimation is non-trivial to cope with intrinsic appearance and shape variation and severe inter-object occlusion, and is made more challenging in light of extrinsic large illumination changes and low quality of the acquired data under an uncontrolled environment. This paper introduces a novel pose estimation algorithm W-PoseNet, which densely regresses from input data to 6D pose and also 3D coordinates in model space. In other words, local features learned for pose regression in our deep network are regularized by explicitly learning pixel-wise correspondence mapping onto 3D pose-sensitive coordinates as an auxiliary task. Moreover, a sparse pair combination of pixel-wise features and soft voting on pixel-pair pose predictions are designed to improve robustness to inconsistent and sparse local features. Experiment results on the popular YCB-Video and LineMOD benchmarks show that the proposed W-PoseNet consistently achieves superior performance to the state-of-the-art algorithms.

연구 동기 및 목표

• 가림, 대칭성, 질감 변동이 있는 RGB-D 영상에서 6D 물체 자세 추정의 과제를 해결하기 위해.
• 희박한 키포인트 감독 대신 조밀한 픽셀-3D 대응 맵핑을 통해 특징의 구별 능력과 강인성을 향상시키기 위해.
• 픽셀 쌍 간의 상대 기하학적 및 문양적 인코딩을 통해 국소 특징을 통합하여 글로벌 자세 표현을 향상시키기 위해.
• 반복적 정련에 의존하지 않도록 더 강인한 엔드 투 엔드 회귀 네트워크를 설계하여.
• 픽셀 쌍 특징과 대응 학습의 공동 학습이 표준 픽셀 단위의 회귀보다 성능 향상에 기여함을 입증하기 위해.

제안 방법

• 두 개의 샘플된 픽셀에서 특징을 조합하는 데 저질 랭크 이중선형 풀링(LRBP)을 사용하는 픽셀 쌍 자세 회귀 모듈을 도입하여, 상대적인 3D 기하학적 및 2D 문양적 관계를 인코딩한다.
• 각 픽셀의 2D 이미지 좌표를 기준 물체 모델 공간 내 3D 점으로 회귀시키는 조밀한 대응 맵핑(DCM) 브랜치를 활용하여 보조 감독을 제공한다.
• 자세 회귀 손실과 DCM 손실을 조합한 공동 손실 함수를 사용하여, 다중 작업 감독을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 기존의 DenseFusion과 동일한 조밀한 특징 인코더와 융합 모듈을 활용하여 공정한 비교를 확보하면서도, 새로운 구성 요소의 기여를 분리한다.
• 기존 최신 기술 수준의 방법들과 일관되게 반복적 자세 정련을 위한 공유 정련 네트워크를 적용하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 픽셀 단위의 특징 회귀 대비 픽셀 쌍 특징 인코딩이 6D 자세 추정의 강인성 향상에 기여하는가?
• RQ2 픽셀에서 기준 3D 좌표로의 조밀한 대응 학습이 대칭 자세에 기인한 모호성을 줄이고 특징의 구별 능력을 향상시키는가?
• RQ3 픽셀 쌍 특징과 DCM 감독의 조합이 가림 상황에서 기존 방법 대비 정확도와 강인성 측면에서 어떻게 비교되는가?
• RQ4 제안된 방법이 ICP와 같은 반복적 정련에 대한 의존도를 어느 정도 감소시키는가?
• RQ5 자세와 대응의 공동 학습이 다양한 벤치마크에서 일관된 성능 향상 기여를 하는가?

주요 결과

• 반복적 정련 없이 W-PoseNet는 LineMOD 데이터셋에서 평균 ADD(S) 97.2%를 달성하여 DenseFusion(93.2% 대비 86.2%)를 7% 뛰어넘었다.
• YCB-Video 데이터셋에서 W-PoseNet는 증가하는 가림 수준에서도 PoseCNN+ICP와 DenseFusion를 일관되게 능가하며, 뛰어난 강인성을 입증했다.
• 절단 분석 결과, 픽셀 쌍 자세 예측만으로도 DenseFusion(86.2% 평균 ADD(S)) 대비 2% 향상된 성능(88.2% 평균 ADD(S))을 달성했다.
• 조밀한 대응 맵핑(DCM) 브랜치만으로도 DenseFusion 대비 7%의 성능 향상을 기록하여, 국소 특징 품질 향상에 효과적임을 입증했다.
• 특징 융합을 위한 저질 랭크 이중선형 풀링(LRBP)은 ELS, CON, LRBP 중에서 최고의 성능을 보였으며, 이차 통계량을 효과적으로 캡처함을 확인했다.
• 반복적 정련을 적용한 결과, W-PoseNet는 추가적인 성능 향상을 기록하여, 제안된 아키텍처가 기존 정련 파이프라인과 호환되며 이를 향상시킬 수 있음을 확인했다.