[논문 리뷰] Mobile Camera Array Calibration for Light Field Acquisition

Yichao Xu, Kazuki Maeno외 2명|arXiv (Cornell University)|2014. 07. 16.

Advanced Vision and Imaging참고 문헌 1인용 수 7

한 줄 요약

이 논문은 장황한 체스보드 패턴을 사용하여 Zhang의 스타일로 모바일 카메라 어레이 라이트 필드 시스템을 위한 융통성 있고 전역 최적화 기반의 캘리브레이션 방법을 제안한다. 이는 정확한 내부 및 외부 파라미터 추정을 가능하게 하며, 재투영 오차가 0.4픽셀 이하인 결과를 도출하고, 캘리브레이션된 라이트 필드에서 고해상도 디지털 재초점을 가능하게 한다.

ABSTRACT

The light field camera is useful for computer graphics and vision applications. Calibration is an essential step for these applications. After calibration, we can rectify the captured image by using the calibrated camera parameters. However, the large camera array calibration method, which assumes that all cameras are on the same plane, ignores the orientation and intrinsic parameters. The multi-camera calibration technique usually assumes that the working volume and viewpoints are fixed. In this paper, we describe a calibration algorithm suitable for a mobile camera array based light field acquisition system. The algorithm performs in Zhang's style by moving a checkerboard, and computes the initial parameters in closed form. Global optimization is then applied to refine all the parameters simultaneously. Our implementation is rather flexible in that users can assign the number of viewpoints and refinement of intrinsic parameters is optional. Experiments on both simulated data and real data acquired by a commercial product show that our method yields good results. Digital refocusing application shows the calibrated light field can well focus to the target object we desired.

연구 동기 및 목표

• 고정된 대형 카메라 어레이와 다른 모바일 카메라 어레이 기반의 라이트 필드 시스템에 대해 정확한 캘리브레이션 방법의 부족을 해결한다.
• 모든 카메라가 한 평면에 있지 않은 모바일 설정에서 내부 및 외부 파라미터를 정밀하게 캘리브레이션할 수 있도록 한다.
• 사용자가 시점 수를 선택하고 내부 파라미터를 선택적으로 개선할 수 있는 융통성 있는 캘리브레이션 프레임워크를 개발한다.
• 모든 파라미터를 동시에 최적화하는 전역 최적화를 사용하여 기존 캘리브레이션 방법을 향상시키며, 재투영 오차를 감소시킨다.

제안 방법

• 라이트 필드의 위치-각도 표현을 정의하고, 이 표현을 기반으로 모바일 카메라 어레이를 모델링한다.
• Zhang의 단일 카메라 캘리브레이션 접근 방식을 따르며, 여러 방향으로 이동시킨 평면 체스보드 패턴을 사용해 캘리브레이션 데이터를 촬영한다.
• 평면 패턴 관측 결과를 바탕으로 닫힌 형태로 초기 카메라 파라미터를 계산한다.
• 전역 최적화를 적용하여 모든 내부 및 외부 파라미터를 동시에 정밀하게 보정하고 총 재투영 오차를 최소화한다.
• 사용자 정의 구성(시점 수 및 내부 파라미터 개선 여부 포함)을 허용한다.
• 와핑 및 평균화 기법을 사용하여 캘리브레이션된 라이트 필드에서 디지털 재초점을 수행한다.

실험 결과

연구 질문

• RQ1 비평면 구성을 가진 모바일 카메라 어레이에 대해 내부 및 외부 파라미터를 정확하게 추정할 수 있는 캘리브레이션 방법을 개발할 수 있는가?
• RQ2 모든 파라미터를 동시에 최적화하는 전역 최적화 방식이 재투영 오차 측면에서 개별 보정 또는 초기 선형 해법에 비해 어떻게 성능이 뛰어나게 되는가?
• RQ3 캘리브레이션된 라이트 필드는 캘리브레이션되지 않은 라이트 필드가 실패하는 상황에서도 정확한 디지털 재초점을 가능하게 하는가?
• RQ4 특히 주축 축 이동이 큰 시점들에서, 제안된 방법이 모든 시점에서 낮은 재투영 오차를 유지하는 데까지 어느 정도 기여하는가?

주요 결과

• 전역 최적화 이후 총 재투영 오차가 0.4픽셀 이하로 도달하였으며, 초기 파라미터(2.0672)와 개별 보정(0.6898)에 비해 뚜렷이 뛰어난 성능을 보였다.
• 전역 최적화 이후 각 개별 시점의 재투영 오차는 1픽셀 이내로 유지되어 무한원점에서의 불일치가 없음을 보장한다.
• 주축 축을 따라 더 큰 이동을 보인 7번째 시점은 상대적으로 높은 오차를 보였으며, 깊이 변화에 민감함을 시사한다.
• 캘리브레이션된 라이트 필드를 사용한 디지털 재초점은 목표 물체(체스보드)에 정확하게 초점을 맞추는 데 성공했고, 캘리브레이션되지 않은 라이트 필드는 흐릿한 결과를 보였다.
• 보정된 라이트 필드를 사용하여 근거리, 중거리, 원거리 물체에 대해 실제 장면의 재초점 이미지를 성공적으로 생성하여 실용적 유용성을 입증했다.
• 이 방법은 상용 라이트 필드 카메라 제품에 성공적으로 적용되어 실제 적용 가능성과 강건성을 검증했다.