[논문 리뷰] Partial light field tomographic reconstruction from a fixed-camera focal stack

Antoine Mousnier, Elif Vural외 1명|arXiv (Cornell University)|2015. 03. 06.

Advanced Vision and Imaging참고 문헌 25인용 수 51

한 줄 요약

이 논문은 단일 고정 카메라가 촬영한 초점 스택에서 고각해상도 4차원 빛장(4D light field)을 복원하는 방법을 제안한다. 초점 지도를 추정하고 이를 깊이 지도로 변환한 후, 깊이 기반의 역투영 각도를 사용하여 마스크된 역투영을 적용함으로써 정확한 디지털 재초점 조절, 확장된 심도 범위, 그리고 현실적인 시점 이동을 가능하게 한다. 이는 전용 하드웨어 없이도 고품질의 빛장 렌더링을 구현한다.

ABSTRACT

This paper describes a novel approach to partially reconstruct high-resolution 4D light fields from a stack of differently focused photographs taken with a fixed camera. First, a focus map is calculated from this stack using a simple approach combining gradient detection and region expansion with graph-cut. Then, this focus map is converted into a depth map thanks to the calibration of the camera. We proceed after this with the tomographic reconstruction of the epipolar images by back-projecting the focused regions of the scene only. We call it masked back-projection. The angles of back-projection are calculated from the depth map. Thanks to the high angular resolution we achieve by suitably exploiting the image content captured over a large interval of focus distances, we are able to render puzzling perspective shifts although the original photographs were taken from a single fixed camera at a fixed position.

연구 동기 및 목표

• 기존의 빛장 카메라에서 공간 해상도와 각도 해상도 사이의 상충 관계를 해결하기 위해.
• 다양한 초점 거리의 이미지를 촬영한 단일 고정 카메라에서 고해상도 빛장 복원을 가능하게 하기 위해.
• 초점 스택 이미지만을 사용하여 현실적인 시점 이동과 디지털 재초점 조절을 달성하기 위해.
• 초점 스택 스펙트럼의 평균화에 의존하거나 카메라 어레이가 필요한 기존 방법의 한계를 극복하기 위해.
• 기존 카메라를 소프트웨어 업그레이드로 고해상도 빛장 촬영이 가능한 실용적인 솔루션을 제공하기 위해.

제안 방법

• 그래프 컷 최적화를 통한 기울기 탐지 및 영역 확장을 이용해 초점 스택에서 초점 지도를 계산한다.
• 초점 매개변수와 초점 거리 사이의 사전 校정된 관계를 사용하여 초점 지도를 깊이 지도로 변환한다.
• 초점 지도를 기반으로 각 초점 스택 이미지에서 초점이 맞춘 픽셀을 식별하기 위한 마스크를 생성한다.
• 초점이 맞춘 영역만을 역투영하는 마스크된 역투영을 통해 빛장의 에피포라 이미지를 복원한다.
• 복원된 빛장의 기하학적 일관성을 확보하기 위해 깊이 지도에서 유도된 역투영 각도를 사용한다.
• 각 초점 이미지가 2차원 투영임을 활용하여 4차원 톰로그래픽 복원 원리를 적용한다.

실험 결과

연구 질문

• RQ1 전용 하드웨어 없이 단일 고정 카메라의 초점 스택에서 고각해상도 4D 빛장을 복원할 수 있는가?
• RQ2 다양한 초점 평면에서 초점이 맞춘 영역를 정확히 식별하고 빛장 복원에 활용할 수 있는가?
• RQ3 깊이 기반의 각도를 사용한 마스크된 역투영이 스펙트럼 평균화 방법에 비해 시점 이동 및 재초점 조절 품질을 얼마나 향상시킬 수 있는가?
• RQ4 특히 첫 번째 이미지가 가장 가까운 물체에 초점을 맞출 경우, 제한된 심도 범위를 가진 초점 스택에서도 방법이 안정적인가?
• RQ5 기존 카메라를 소프트웨어 업그레이드로 통해 초점 스위핑을 통한 고해상도 빛장 렌더링이 가능한가?

주요 결과

• 이 방법은 단일 고정 카메라에서조차 현실적인 시점 이동과 디지털 재초점 조절이 가능한 빛장을 성공적으로 복원한다.
• 마스크된 역투영은 특히 가까운 물체에 초점을 맞춘 초점 스택에서 흔히 발생하는 '투과 효과' 아티팩트를 피함으로써 스펙트럼 평균화 방법에 비해 우수한 성능을 발휘한다.
• 다양한 초점 거리에서 캡처된 콘텐츠를 활용하여 높은 각도 해상도를 달성함으로써 놀라운 시점 이동 효과를 가능하게 한다.
• 초점 스택 크기가 제한된 경우에도 강건함을 입증하였으며, Joker 데이터셋에서 단지 5장의 이미지로도 효과적인 복원이 가능했다.
• 교정을 통해 초점 매개변수와 초점 거리 사이의 일대일 대응 관계를 확립하여 정확한 깊이 지도 생성이 가능했다.
• 이 기법은 단순한 클릭-재초점 기능과 표준 카메라 하드웨어 및 소프트웨어만으로도 확장된 심도 범위 렌더링을 가능하게 한다.