[논문 리뷰] Unconstrained Two-parallel-plane Model for Focused Plenoptic Cameras Calibration

Chunping Zhang, Zhe Ji외 1명|arXiv (Cornell University)|2016. 08. 16.

Advanced Vision and Imaging참고 문헌 17인용 수 3

한 줄 요약

이 논문은 초점이 맞춰진 플레노픽 카메라를 校정하기 위해 3차원 장면 점과 2차원 이미지 센서 측정치 사이의 사영 변환을 수립함으로써, 7개 매개변수를 가진 제약이 없는 두 개의 평행 평면(이중 평면 모델, TPP) 모델을 제안한다. 이 방법은 폐쇄형 해를 구한 후 Levenberg-Marquardt 알고리즘을 이용한 비선형 최적화를 통해 재투영 오차를 최소화하며, 시뮬레이션 및 실제 데이터 모두에서 피셀당 0.3 이내의 부분 피셀 정확도를 달성한다 (RMS 오차 < 0.3 픽셀).

ABSTRACT

The plenoptic camera can capture both angular and spatial information of the rays, enabling 3D reconstruction by single exposure. The geometry of the recovered scene structure is affected by the calibration of the plenoptic camera significantly. In this paper, we propose a novel unconstrained two-parallel-plane (TPP) model with 7 parameters to describe a 4D light field. By reconstructing scene points from ray-ray association, a 3D projective transformation is deduced to establish the relationship between the scene structure and the TPP parameters. Based on the transformation, we simplify the focused plenoptic camera as a TPP model and calibrate its intrinsic parameters. Our calibration method includes a close-form solution and a nonlinear optimization by minimizing re-projection error. Experiments on both simulated data and real scene data verify the performance of the calibration on the focused plenoptic camera.

연구 동기 및 목표

• 기존의 플레노픽 카메라 校정 모델이 가지는 중복되거나 불완전한 매개변수와 나쁜 초기화 문제를 해결한다.
• 초점이 맞춰진 플레노픽 카메라의 4차원 빛장 기하학을 정확하게 기술할 수 있는 간결하고 물리적으로 의미 있는 모델을 개발한다.
• 선형 초기화와 비선형 최적화를 조합한 강력한 校정 파이프라인을 수립하여 매개변수 정확도를 향상시킨다.
• 정확히 복원된 메트릭 4차원 빛장 데이터를 원시 센서 이미지에서 디코딩함으로써 고정밀 3차원 재구성과 디지털 재초점을 가능하게 한다.

제안 방법

• 두 개의 평행 평면이 광선의 경로와 광선 기하학을 정의하는 7개 매개변수를 가진 제약이 없는 TPP 모델을 제안하여 4차원 빛장을 표현한다.
• TPP 매개변수를 사용하여 장면 점을 이미지 센서 픽셀로 매핑하는 3차원 사영 변환 행렬을 유도하며, 이는 校정의 이론적 기초를 형성한다.
• 레이어-레이어 연관성과 3차원 점 재구성에서 유도된 선형 관계를 이용해 초기 매개변수 추정을 위한 폐쇄형 해를 구현한다.
• 원시 이미지 평면에서 재투영 오차를 최소화함으로써 Levenberg-Marquardt 알고리즘을 통한 비선형 최적화를 적용하여 매개변수를 정밀하게 보정한다.
• 강력한 매개변수 추정을 위해 여러 자세로 촬영한 校정 보드를 사용하여 데이터를 수집하며, 전처리를 통해 마이크로 렌즈 서브아페처 이미지를 추출한다.
• 레이어 트레이싱을 이용해 재초점을 적용한 이미지를 렌더링함으로써 校정을 검증하며, 이는 후속 응용 분야에서의 유용성을 입증한다.

실험 결과

연구 질문

• RQ1 초점이 맞춰진 플레노픽 카메라를 위한 단순화되고 물리적으로 일관된 4차원 빛장 모델을 어떻게 구성할 수 있을까? 이는 校정 정확도를 향상시킬 수 있는가?
• RQ2 장면 점과 이미지 측정치 사이의 사영 변환에서 내재 매개변수에 대한 폐쇄형 해를 유도할 수 있는가?
• RQ3 기존의 校정 기법과 비교했을 때, 제안된 방법이 재투영 오차를 얼마나 줄이는가?
• RQ4 교정용 자세의 수와 교정용 점의 수는 교정의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ5 교정된 모델은 실제 환경에서 고품질의 디지털 재초점과 3차원 재구성에 적합한가?

주요 결과

• 제안된 7개 매개변수를 가진 제약이 없는 TPP 모델은 초점이 맞춰진 플레노픽 카메라에서 3차원 장면 점과 2차원 이미지 센서 측정치 사이의 기하학적 관계를 효과적으로 포착한다.
• 최소 5개의 교정 자세를 사용할 경우 재투영 오차가 0.3 픽셀 이내 (RMS)로 줄어들며, 다양한 점 구성에 대해 일관된 성능을 보인다.
• 왜곡 계수를 최적화에 포함시킬 경우 RMS 오차가 0.31505에서 0.27846 픽셀로 감소하여 비선형 보정의 효과를 입증한다.
• 9개의 자세와 8×10개의 교정 점을 사용할 경우 RMS 오차는 0.27846 픽셀에 도달하여 높은 정밀도와 강건성을 확인한다.
• 추정된 자세와 광선 방향은 렌더링된 이미지에서 일관되고 선명한 초점을 보여주며 정확한 디지털 재초점을 가능하게 한다.
• 마이크로 렌즈 중심 정렬에 대한 가정을 피하고 더 정확하고 물리적으로 타당한 校정 프레임워크를 제공하므로 기존 방법보다 뛰어난 성능을 발휘한다.