[논문 리뷰] Rolling Shutter Camera Relative Pose: Generalized Epipolar Geometry

Yuchao Dai, Hongdong Li외 1명|arXiv (Cornell University)|2016. 05. 02.

Advanced Vision and Imaging참고 문헌 26인용 수 13

한 줄 요약

이 논문은 선형 및 균일 롤링 셔터 모델에 각각 일반화된 5×5 및 7×7 본질 행렬을 유도하여 롤링 셔터 카메라의 상대 자세 추정을 위한 통합 기하 프레임워크를 제안한다. 고차원의 에피포라 곡선을 포함하는 새로운 에피포라 기하학을 수립하고, 삼각형 오차 최소화 기반 선형 및 비선형 솔버를 개발하며, 시뮬레이션 및 실제 RS 데이터셋에서 글로벌 셔터 가정 대비 상당한 자세 정확도 향상을 입증한다.

ABSTRACT

The vast majority of modern consumer-grade cameras employ a rolling shutter mechanism. In dynamic geometric computer vision applications such as visual SLAM, the so-called rolling shutter effect therefore needs to be properly taken into account. A dedicated relative pose solver appears to be the first problem to solve, as it is of eminent importance to bootstrap any derivation of multi-view geometry. However, despite its significance, it has received inadequate attention to date. This paper presents a detailed investigation of the geometry of the rolling shutter relative pose problem. We introduce the rolling shutter essential matrix, and establish its link to existing models such as the push-broom cameras, summarized in a clean hierarchy of multi-perspective cameras. The generalization of well-established concepts from epipolar geometry is completed by a definition of the Sampson distance in the rolling shutter case. The work is concluded with a careful investigation of the introduced epipolar geometry for rolling shutter cameras on several dedicated benchmarks.

연구 동기 및 목표

• 동적 기하 컴퓨터 시각에서 롤링 셔터 카메라를 위한 전용 상대 자세 솔버의 부족을 해결하기 위해.
• 시간에 따라 변화하는 스캔라인 캡처로 인해 표준 핀홀 모델과 다름을 보이는 롤링 셔터 카메라의 에피포라 기하학을 체계화하기 위해.
• 롤링 셔터 영상의 비중앙 투영 성격을 반영하는 일반화된 본질 행렬(5×5 및 7×7)을 유도하기 위해.
• 롤링 셔터 기하학 하에서 상대 자세 추정을 위한 효율적인 선형 및 비선형 솔버를 개발하기 위해.
• 시뮬레이션 및 실제 롤링 셔터 데이터셋에서 프레임워크를 검증하여 글로벌 셔터 가정 대비 우수성을 입증하기 위해.

제안 방법

• 시간에 따라 변화하는 스캔라인 투영 모델에 기반해 선형 롤링 셔터 카메라에 적합한 5×5 일반화된 본질 행렬과 균일 롤링 셔터 카메라에 적합한 7×7 행렬을 유도한다.
• 표준 에피포라 기하학에서 직선이 되는 것과 달리, 고차원 곡선(예: 타원곡선 또는 삼차곡선)이 되는 일반화된 에피포라 기하학을 도입한다.
• 비선형 최적화를 위한 기하 오차 측정으로 롤링 셔터 전용 삼각형 거리를 설정한다.
• 선형 RS 카메라에 적합한 20점 선형 알고리즘과 균일 RS 카메라에 적합한 44점 선형 알고리즘을 개발하여 효율적인 初기 자세 추정을 가능하게 한다.
• 최소한의 점 수로 일반화된 삼각형 오차를 최소화하는 비선형 솔버를 제안하여 RANSAC 기반의 강력한 추정에 적합하다.
• 선형 및 균일 푸시브룸 카메라를 포함하도록 프레임워크를 확장하여 일반화된 본질 행렬의 통합 계층을 형성한다.

실험 결과

연구 질문

• RQ1 표준 3×3 본질 행렬을 초월하여 롤링 셔터 카메라의 에피포라 기하학을 어떻게 체계적으로 일반화할 수 있는가?
• RQ2 선형 및 균일 롤링 셔터 모델에 적합한 적절한 일반화된 본질 행렬은 무엇이며, 기존의 다중 시점 카메라 모델과의 관계는 어떠한가?
• RQ3 롤링 셔터 기하학 하에서 상대 자세 추정을 위한 효율적인 선형 및 비선형 솔버를 구성할 수 있는가?
• RQ4 실제 및 시뮬레이션 데이터에서 제안된 롤링 셔터 모델은 글로벌 셔터 가정 대비 재투영 오차와 자세 정확도 측면에서 어떻게 비교되는가?
• RQ5 일반화된 삼각형 거리는 롤링 셔터 상대 자세 추정을 위한 강력한 최적화를 어떻게 가능하게 하는가?

주요 결과

• 제안된 5×5 및 7×7 일반화된 본질 행렬은 컴퓨터 시각 문헌에서 이전에 보고된 바 없는 원천적 기여이다.
• 롤링 셔터 에피포라 기하학은 선형 RS의 경우 타원곡선(차수 2), 균일 RS의 경우 삼차곡선(차수 3)이 되며, 표준 에피포라 기하학의 직선과 다름을 보인다.
• 선형 RS 카메라에 적합한 20점 선형 알고리즘과 균일 RS 카메라에 적합한 44점 선형 알고리즘은 최소한의 입력으로 효율적인 초기 자세 추정을 가능하게 한다.
• 삼각형 오차 최소화 기반 비선형 솔버는 시뮬레이션 및 실제 RS 데이터셋에서 글로벌 셔터 모델 대비 회전 추정 정확도에서 상당한 향상을 이룬다.
• RSBA 데이터셋의 실제 RS 이미지 쌍에서, 롤링 셔터 모델은 이미지 평면 전반에 걸쳐 재투영 오차를 균일하게 감소시키는 반면, 글로벌 셔터 모델은 동적인 영역의 왜곡을 고려하지 못한다.
• 삼각형 오차 히스토그램은 제안된 RS 모델을 사용할 경우 오차가 일반적으로 감소하는 것을 보여주며, 이는 모델의 우월한 기하 일관성을 확인한다.