[논문 리뷰] Blur Aware Calibration of Multi-Focus Plenoptic Camera

Mathieu Labussière, Céline Teulière외 2명|arXiv (Cornell University)|2020. 04. 16.

Image Processing Techniques and Applications참고 문헌 33인용 수 15

한 줄 요약

이 논문은 원시 이미지만을 사용하여 다중 초점 플레노픽 카메라(MFPCs)를 위한 단일 단계 校정 방법을 제안하며, 마이크로 렌즈 초점 거리와 블러 특성을 모델링하기 위해 새로운 블러 인식 플레노픽(BAP) 특징을 도입한다. 이 방법은 BAP 특징을 사전 校정 단계에서 사용하여 강건한 초기화를 수행하고, 내재 및 외재 파rameter를 동시에 추정하기 위한 통합 최적화 프레임워크를 활용하여, 피xel 이내의 재투영 오차와 mm 수준의 자세 정확도를 달성한다.

ABSTRACT

This paper presents a novel calibration algorithm for Multi-Focus Plenoptic Cameras (MFPCs) using raw images only. The design of such cameras is usually complex and relies on precise placement of optic elements. Several calibration procedures have been proposed to retrieve the camera parameters but relying on simplified models, reconstructed images to extract features, or multiple calibrations when several types of micro-lens are used. Considering blur information, we propose a new Blur Aware Plenoptic (BAP) feature. It is first exploited in a pre-calibration step that retrieves initial camera parameters, and secondly to express a new cost function for our single optimization process. The effectiveness of our calibration method is validated by quantitative and qualitative experiments.

연구 동기 및 목표

• 다중 마이크로 렌즈 초점 거리를 처리할 수 있는 통합 캘리브레이션 방법의 부족을 해결하기 위해.
• 다른 마이크로 렌즈 유형에 대해 별도의 캘리브레이션 프로세스나 재구성된 이미지에 의존하지 않도록 하기 위해.
• 원시 이미지 공간에서 직접 블러 정보를 활용하여 캘리브레이션의 강건성과 정확도를 향상시키기 위해.
• 원시 플레노픽 이미지만을 사용하여 내재 및 외재 파rameter를 동시에 추정하는 완전한 단일 최적화 캘리브레이션 파이프라인을 제공하기 위해.

제안 방법

• 원시 이미지 공간에서 정의된 새로운 블러 인식 플레노픽(BAP) 특징을 제안하며, 코너 위치와 블러 반경을 조합하여 마이크로 렌즈 반응을 표현한다.
• 화이트 이미지를 사용하여 BAP 특징의 선형 피팅을 통해 내재 파rameter의 초기 값을 추정하는 사전 캘리브레이션 단계를 도입한다.
• MLA 이격, 반사 및 접선 왜곡, 그리고 다중 마이크로 렌즈 초점 거리를 고려한 새로운 투영 모델을 개발한다.
• 비선형 최적화를 위해 코너 및 블러 반경 성분을 모두 사용하는 통합 재투영 오차 함수를 설계한다.
• 비선형 최적화를 통해 원시 이미지에서 내재 및 외재 파rameter를 동시에 정밀하게 보정하는 단일 단계 캘리브레이션을 수행한다.
• 정확한 기하 보정을 위해 반사 및 접선 성분을 포함한 수정된 Brown-Conrady 렌즈 왜곡 모델을 사용한다.

실험 결과

연구 질문

• RQ1 원시 미세 영상 내 블러 정보를 재구성 없이 효과적으로 MFPC 캘리브레이션에 활용할 수 있는가?
• RQ2 다중 마이크로 렌즈 유형을 가진 MFPC에 대해 단일 최적화 프로세스로 내재 및 외재 파rameter를 동시에 추정할 수 있는가?
• RQ3 제안된 BAP 특징은 기존 방법에 비해 캘리브레이션의 강건성과 정확도를 얼마나 향상시키는가?
• RQ4 이 방법은 원시 이미지에서 마이크로 렌즈 초점 거리 및 기타 파rameter를 얼마나 정확히 복원할 수 있는가?

주요 결과

• 모든 데이터셋에서 코너 특징에 대해 평균 재투영 오차는 0.886 피x셀(RMSE), 블러 반경 특징에 대해 0.075 피x셀을 기록하였다.
• z축 방향 상대적 이동 오차는 평균 3.33%이며, 표준편차 1.36%를 보였으며, [20] 및 전용 RxLive 소프트웨어를 초월하였다.
• 초점 거리 및 기하학적 특성과 관련된 파ram터 m의 평균 오차는 1.36%로, 최적화된 값의 1% 미만이었으며, 높은 메트릭 정밀도를 확인하였다.
• 모든 데이터셋에서 일관된 초점 거리 추정을 제공하였으며, F, d, 및 ∆C 파ram터는 낮은 이질성을 보였고, [20] 또는 RxLive와는 달리 일관성이 있었다.
• 최적화된 파ram터가 초기 값에 가까이 수렴하여 안정적인 수렴을 보였으며, 이는 BAP 사전 캘리브레이션 단계의 강건한 초기화를 의미한다.
• 재구성된 이미지나 각 렌즈 유형에 대해 별도의 캘리브레이션을 요구하지 않고도 마이크로 렌즈 초점 거리 및 기타 파ram터를 성공적으로 복원하였다.