[논문 리뷰] PnP-Net: A hybrid Perspective-n-Point Network

Roy Sheffer, Ami Wiesel|arXiv (Cornell University)|2020. 03. 10.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 6

한 줄 요약

PnP-Net는 대응 오류가 있는 상황에서도 강력한 6자리 카메라 자세 추정을 위한 하이브리드 딥러닝 및 모델 기반 접근법을 제안한다. 이는 딥 뉴럴 네트워크를 통해 거친, 강력한 초기화를 수행한 후, 미분 가능한 IRLS-LM 최적화를 수행함으로써 상태 최고의 정확도를 달성하면서도 고정된 낮은 계산 복잡도를 유지한다. 이는 RANSAC 성능에 맞추어지지만 합성 및 실제 데이터에서 수개의 주기 빠르게 작동한다.

ABSTRACT

We consider the robust Perspective-n-Point (PnP) problem using a hybrid approach that combines deep learning with model based algorithms. PnP is the problem of estimating the pose of a calibrated camera given a set of 3D points in the world and their corresponding 2D projections in the image. In its more challenging robust version, some of the correspondences may be mismatched and must be efficiently discarded. Classical solutions address PnP via iterative robust non-linear least squares method that exploit the problem's geometry but are either inaccurate or computationally intensive. In contrast, we propose to combine a deep learning initial phase followed by a model-based fine tuning phase. This hybrid approach, denoted by PnP-Net, succeeds in estimating the unknown pose parameters under correspondence errors and noise, with low and fixed computational complexity requirements. We demonstrate its advantages on both synthetic data and real world data.

연구 동기 및 목표

• 입력 대응 관계에 오류와 노이즈가 포함된 경우에도 강력한 투시점-n-포인트(PnP) 문제를 해결하기 위해.
• RANSAC 및 반복 비선형 최소 제곱법과 같은 전통적인 강력한 PnP 방법의 계산 부담을 줄이기 위해, 반복적 샘플링 또는 열악한 초기화로 인해 느린 문제를 해결하기 위해.
• 딥러닝을 이용한 강력한 초기화와 모델 기반 최적화를 통한 정밀 조정을 결합한 단일 스텝, 엔드 투 엔드로 미분 가능한 프레임워크를 개발하기 위해.
• 과적합 없이 합성 훈련 데이터에서 실제 세계 시나리오로 일반화할 수 있도록 하기 위해, 즉 훈련 중에 볼 수 없었던 이상치 분포 조건에서도 가능하도록 하기 위해.

제안 방법

• PointNet 기반의 딥 뉴럴 네트워크가 3D-2D 대응 관계를 처리하여 거친, 강력한 초기 자세 추정치를 생성한다.
• 엔드 투 엔드 정밀 조정을 위해, 미분 가능한 IRLS-LM(반복적으로 재가중하는 최소 제곱법 - 레벤버그-마르카르트) 최적화 단계와 함께 공동으로 훈련된다.
• 전체 파이프라인은 미분 가능하여, 뉴럴 네트워크와 최적화 단계를 모두 거쳐 역전파가 가능하다.
• 합성 데이터는 이론적 PnP 모델에서 유도된 것으로, 노이즈 및 이상치 조건을 통제된 환경에서 네트워크 훈련에 사용된다.
• 이상치 처리는 강력한 손실 함수(예: Huber 손실)와 IRLS-LM 단계에서의 반복적 재가중을 통해 이루어진다.
• 비교 평가 시, 이상치 수와 사전 분포의 변화, 특히 훈련 중에 볼 수 없었던 비균일 자세 분포 조건에서도 수행된다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크가 대응 오류와 노이즈에 강건하고 정확한 초기 자세 추정치를 제공할 수 있는가?
• RQ2 딥러닝과 미분 가능한 모델 기반 최적화를 조합하면 순수 딥러닝 또는 전통적 방법보다 더 높은 정확도와 효율성을 달성할 수 있는가?
• RQ3 합성 데이터로 훈련된 시스템이 훈련 중에 볼 수 없었던 이상치 패턴과 분포를 가진 실제 세계 데이터로 효과적으로 일반화될 수 있는가?
• RQ4 RANSAC 및 REPPnP-LM과 같은 최신 기술과 비교할 때 하이브리드 접근법은 정확도와 계산 복잡도 측면에서 어떻게 비교되는가?
• RQ5 추론 시 자세 분포가 훈련 시 분포와 다를 경우, 이 방법이 얼마나 강건하게 유지되는가?

주요 결과

• PnP-Net는 합성 및 실제 세계 데이터에서 RANSAC와 유사한 성공률을 달성하면서도 고정된 낮은 계산 복잡도를 유지한다.
• 합성 데이터에서 이상치가 존재하는 조건에서, PnP-Net는 REPPnP-LM 및 기타 경쟁자들을 크게 능가한다. 특히 추론 시 훈련과 다른 자세 사전 분포가 적용되어도 마찬가지다.
• ETH3D 벤치마크의 실제 세계 데이터에 대해 잘 일반화되어 있으며, 과적합 없이 합성 실험과 유사한 성능 경향을 보였다.
• 훈련 시 균일하게 랜덤으로 설정되지 않은 일정한 수의 이상치를 테스트한 결과, PnP-Net는 특히 4개 이하의 이상치 조건에서 REPPnP-LM을 일관되게 능가했다.
• 자세 이동 사전 분포가 균일 분포에서 정규 분포로 변경되었을 때 네트워크의 성공률는 약간 감소했지만, 여전히 모든 경쟁자들을 압도했다.
• 엔드 투 엔드로 미분 가능한 훈련은 뉴럴 네트워크와 IRLS-LM 정밀 조정의 효과적인 공동 최적화를 가능하게 하여 강력하고 정확한 자세 추정을 이끌어냈다.