[논문 리뷰] Probabilistic Category-Level Pose Estimation via Segmentation and Predicted-Shape Priors

Benjamin Burchfiel, George Konidaris|arXiv (Cornell University)|2019. 05. 28.

3D Shape Modeling and Analysis참고 문헌 16인용 수 7

한 줄 요약

이 논문은 단일 깊이 이미지에서 다중 모달 포즈 분포를 생성하기 위해 혼합 밀도 네트워크(MDN)와 형태 사전 지식, 실루엣 일致성(consistency)을 조합한 확률적 카테고리 수준 3D 자세 추정 방법을 제안한다. 예측된 형태와 분할 결과를 활용하여 사후 기반 샘플링 전략을 통해 자세 추정을 검증함으로써, ShapeNet 및 Pix3D 데이터셋에서 최신 기술 대비 심각한 자세 오차(>15°)를 크게 감소시킨다.

ABSTRACT

We introduce a new method for category-level pose estimation which produces a distribution over predicted poses by integrating 3D shape estimates from a generative object model with segmentation information. Given an input depth-image of an object, our variable-time method uses a mixture density network architecture to produce a multi-modal distribution over 3DOF poses; this distribution is then combined with a prior probability encouraging silhouette agreement between the observed input and predicted object pose. Our approach significantly outperforms the current state-of-the-art in category-level 3DOF pose estimation---which outputs a point estimate and does not explicitly incorporate shape and segmentation information---as measured on the Pix3D and ShapeNet datasets.

연구 동기 및 목표

• 새로운 객체에 대해 진정한 3D 모델에 접근할 수 없을 때 카테고리 수준 3D 자세 추정의 과제를 해결한다.
• 기존 방법에서 흔한 큰 자세 오차(>15°)에 대한 강건성을 향상시키기 위해 형태 및 분할 일치성을 통합한다.
• 계산 자원의 증가에 따라 정확도를 동적으로 향상시킬 수 있는 가변 시간 추론 방법을 개발한다.
• 생성형 3D 형태 모델(HBEOs)과 확률적 자세 예측을 통합하여 다중 모달 자세 추정을 가능하게 한다.
• 밀도 예측과 자세 일치 사전 지식이 점 추정 기반 베이스라인에 비해 성능 향상에 필수적임을 입증한다.

제안 방법

• HBEOs 생성 모델을 확장하여 혼합 밀도 네트워크(MDN) 아키텍처를 사용해 3DOF 자세에 대한 다중 모달 분포를 출력한다.
• 예측된 객체 실루엣(3D 형태와 자세에서 투영된 것)과 입력 깊이 이미지의 실루엣 간 일치도를 평가하기 위해 2D 자세 일치 스코어를 사용한다.
• 실루엣 일치도를 바탕으로 사전 확률를 정의하여 최대 사후 확률(MAP) 추정을 통해 자세를 유도한다.
• MAP 추정에 대해 샘플링 기반 근사법을 적용하여, 더 많은 샘플이 사용될수록 정확도가 향상되는 가변 시간 추론을 가능하게 한다.
• 잠재 표현에서 3D 형태를 재구성할 수 있는 생성 모델의 능력을 활용해 자세 예측을 검증한다.
• MDN 기반의 밀도 예측과 실루엣 일치성에 기반한 사후 추론 단계를 통합하여 자세 후보를 실루엣 일치성에 따라 가중한다.

실험 결과

연구 질문

• RQ1 확률적 다중 모달 자세 분포가 점 추정 기반 베이스라인에 비해 카테고리 수준 3D 자세 추정 성능을 향상시킬 수 있는가?
• RQ2 실루엣 기반 일치 사전 지식이 새로운 객체 자세 추정에서 심각한 자세 오차(>15°)를 줄이는 데 얼마나 효과적인가?
• RQ3 MDN 기반의 밀도 예측과 형태-실루엣 사전 지식이 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ4 메서드를 가변 시간으로 만들 수 있으며, 추론 시간 또는 계산 자원 증가에 따라 정확도를 향상시킬 수 있는가?
• RQ5 표준 벤치마크인 Pix3D 및 ShapeNet에서 RGB 기반 및 깊이 기반 최신 기술과 비교해 성능은 어떠한가?

주요 결과

• HBEO-MDN-Posterior는 Pix3D 데이터셋에서 모든 베이스라인, 특히 고해상도 이른바 24 azimuth 바인(azimuth bins)에서 최고의 성능을 기록했다.
• 이전 최신 기술 대비 심각한 자세 오차(>15°)를 크게 감소시켰으며, Pix3D의 의자 서브셋에서 오차율에 대해 상대적으로 15% 향상된 성과를 기록했다.
• 제거 실험 결과, MDN 기반의 밀도 예측과 실루엣 일치 사전 지식 둘 다 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 심각하게 저하되었다.
• HBEO-MDN-Posterior는 Pix3D에서 90°-바인 자세각(azimuth) 작업에서 97%의 정확도, 90°-바인 고도각(elevation) 작업에서 93%의 정확도를 기록했으며, HBEOs 및 다른 방법들을 능가했다.
• 로봇 응용 분야에 적합할 정도로 빠른 성능을 보였으며, 시간 예산 증가에 따라 정확도가 향상되는 경향을 보였고, 더 많은 샘플을 사용할수록 정확도가 향상되었다.
• 형태 오차 기반의 베이스라인 방법(Sample + SDF Error)은 랜덤 선택보다도 성능이 열 劣했으며, 이는 형태 오차만으로는 자세 추정을 효과적으로 유도하기에 너무 노이즈가 많다는 것을 시사한다.