[논문 리뷰] EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monocular Object Pose Estimation

Hansheng Chen, Pichao Wang외 4명|arXiv (Cornell University)|2022. 03. 24.

Robotics and Sensor-Based Localization인용 수 7

한 줄 요약

EPro-PnP는 단일 뷰 3D 객체 자세 추정을 위한 2D-3D 키포인트 대응 관계의 엔드 투 엔드 학습을 가능하게 하는 미분 가능하고 확률적인 Perspective-n-Points (PnP) 레이어를 제안한다. SE(3) 다양체 상의 자세를 확률 분포로 모델링하고 예측된 자세 분포와 진짜 자세 분포 간의 KL 발산을 최소화함으로써 결정론적 PnP의 비미분성 문제를 해결하며, LineMOD 및 nuScenes 벤치마크에서 최신 기술 수준(SoA) 성능을 달성한다.

ABSTRACT

Locating 3D objects from a single RGB image via Perspective-n-Points (PnP) is a long-standing problem in computer vision. Driven by end-to-end deep learning, recent studies suggest interpreting PnP as a differentiable layer, so that 2D-3D point correspondences can be partly learned by backpropagating the gradient w.r.t. object pose. Yet, learning the entire set of unrestricted 2D-3D points from scratch fails to converge with existing approaches, since the deterministic pose is inherently non-differentiable. In this paper, we propose the EPro-PnP, a probabilistic PnP layer for general end-to-end pose estimation, which outputs a distribution of pose on the SE(3) manifold, essentially bringing categorical Softmax to the continuous domain. The 2D-3D coordinates and corresponding weights are treated as intermediate variables learned by minimizing the KL divergence between the predicted and target pose distribution. The underlying principle unifies the existing approaches and resembles the attention mechanism. EPro-PnP significantly outperforms competitive baselines, closing the gap between PnP-based method and the task-specific leaders on the LineMOD 6DoF pose estimation and nuScenes 3D object detection benchmarks.

연구 동기 및 목표

• 결정론적 PnP가 비미분적이므로 학습을 방해하는 단일 뷰 3D 객체 자세 추정에서 2D-3D 대응 관계의 엔드 투 엔드 학습 문제를 해결한다.
• PnP를 미분 가능하고 확률적인 레이어로 재구성함으로써, 처음부터 전체 2D-3D 대응 관계 학습 시 수렴 문제를 극복한다.
• 기존의 대응 관계 학습 접근 방식을 단일한 확률적 프레임워크로 통합하며, 이는 주로 어텐션 메커니즘과 유사하다.
• 6DoF 자세 추정 및 3D 객체 검출 모두에 유연하고 학습 가능한 2D-3D 대응 관계, 특히 변형 가능한 대응 관계 학습을 가능하게 한다.
• LineMOD 및 nuScenes와 같은 대규모 벤치마크에서 PnP 기반 방법과 작업 전용 최신 기술 수준(SoA) 모델 간의 성능 격차를 해소한다.

제안 방법

• PnP 연산을 백프로파게이션 가능하게 하기 위해 SE(3) 자세 공간 상의 확률 분포를 출력하는 미분 가능한 확률적 PnP 레이어인 EPro-PnP를 제안한다.
• 2D 이미지 좌표, 3D 객체 모델 좌표, 그리고 이들의 대응 어휘 가중치를 모두 학습 가능한 파라미터로 간주하고 KL 발산 손실을 통해 최적화한다.
• 예측된 자세 분포와 진짜 자세 분포 간의 KL 발산을 효율적으로 계산하기 위해 적응형 다중 중요도 샘플링(AMIS)을 사용한다.
• CDPN 및 새로운 변형 가능한 대응 관계 네트워크와 같은 기존 네트워크에 EPro-PnP를 통합하여 엔드 투 엔드 학습을 가능하게 한다.
• 확률적 공식화를 활용해 다중 모드 자세 분포를 모델링함으로써 대칭적이거나 불확실한 객체에서의 모호함을 포착한다.
• 정규화 및 테스트 시점 증강(TTA)을 적용하여 3D 검출 벤치마크에서 일반화 능력과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 결정론적 PnP의 비미분성 문제를 극복하여 2D-3D 대응 관계의 엔드 투 엔드 학습을 가능하게 할 수 있는가?
• RQ2 PnP를 확률적 공식화로 재구성하면 기울기 기반 최적화에 대해 안정적인, 미분 가능한 대체 수단을 제공할 수 있는가?
• RQ3 SE(3) 다양체 상의 자세를 분포로 모델링할 경우, 엔드 투 엔드 학습에서 결정론적 PnP에 비해 일반화 능력과 성능이 향상되는가?
• RQ4 EPro-PnP는 고정되거나 부분적으로 학습 가능한 대응 관계를 가지는 기존의 대응 관계 학습 방법들을 통합하고 이를 초월할 수 있는가?
• RQ5 EPro-PnP는 변형 가능한 대응 관계 네트워크와 같은 새로운 아키텍처를 가능하게 하여 전체 엔드 투 엔드 학습이 가능한 정확한 3D 객체 검출을 실현할 수 있는가?

주요 결과

• EPro-PnP는 LineMOD 6DoF 자세 추정 벤치마크에서 최신 기술 수준(SoA) 성능을 달성했으며, 평균 정밀도는 0.453 NDS를 기록하여 이전 최신 기술 수준(SoA) 방법을 초월했다.
• nuScenes 3D 객체 검출 벤치마크에서 기본 EPro-PnP 버전은 검증 세트에서 0.425 NDS를 기록했으며, FCOS3D 기준선(0.372 NDS)을 능가했다.
• 테스트 시점 플립 증강(TTA)을 적용한 EPro-PnP는 nuScenes 검증 세트에서 0.439 NDS를 기록했으며, 이는 이전 최신 기술 수준(SoA)을 명확한 격차로 뛰어넘었다.
• 기준선 방법 대비 상당히 낮은 자세 오차(mAOE = 0.337)를 기록하여 자세 정확도 향상을 입증했다.
• 노이즈가 많거나 세부 정보가 덜 정밀한 좌표 맵에서도 EPro-PnP는 CDPN 기준선(79.96 mAP)과 유사한 자세 정확도(79.46 mAP)를 달성하여 학습 불확실성에 대한 강건성을 보였다.
• 확률적 자세 분포가 대칭적이거나 모호한 객체에서의 다중 모드 자세 불확실성을 성공적으로 포착했으며, 이는 AOE 지표에서 이산 분할 또는 혼합 모델보다 뛰어난 성능을 보였다.