[논문 리뷰] Snapshot High Dynamic Range Imaging with a Polarization Camera

Mingyang Xie, Matthew Chan외 1명|arXiv (Cornell University)|2023. 08. 16.

Optical measurement and interference techniquesComputer Science인용 수 3

한 줄 요약

이 논문은 선형 투명 필터를 렌즈 앞에 배치하여 표준 편광 카메라를 단일 촬영으로 고역동 범위(HDR) 영상 시스템으로 저비용으로 가역적으로 변환하는 방법을 제안한다. 이는 투과된 빛의 강도가 투명 필터의 각도에 따라 변하는 원리를 이용해 동시에 네 장의 다른 노출 수준의 영상을 촬영할 수 있도록 한다. 저자들은 상태 기반 소프트웨어 및 편광 기반 HDR 방법보다 뛰어난 성능을 보이며, 불완전한 투명 필터가 존재하는 상황에서도 높은 정확도를 유지하는 자가 캘리브레이션 가능하고 이상치에 강건한 HDR 재구성 알고리즘을 도입한다.

ABSTRACT

High dynamic range (HDR) images are important for a range of tasks, from navigation to consumer photography. Accordingly, a host of specialized HDR sensors have been developed, the most successful of which are based on capturing variable per-pixel exposures. In essence, these methods capture an entire exposure bracket sequence at once in a single shot. This paper presents a straightforward but highly effective approach for turning an off-the-shelf polarization camera into a high-performance HDR camera. By placing a linear polarizer in front of the polarization camera, we are able to simultaneously capture four images with varied exposures, which are determined by the orientation of the polarizer. We develop an outlier-robust and self-calibrating algorithm to reconstruct an HDR image (at a single polarity) from these measurements. Finally, we demonstrate the efficacy of our approach with extensive real-world experiments.

연구 동기 및 목표

• 기존 편광 카메라에 최소한의 하드웨어 수정을 통해 고역동 범위(HDR) 영상 촬영을 가능하게 하기.
• 다중 촬영 HDR에서 발생하는 운동에 의한 가로등 효과를 방지하기 위해 편광 다중화를 이용한 단일 촬영 HDR 촬영을 가능하게 하기.
• 불완전한 투명 필터와 빛 누설을 보완할 수 있는 자가 캘리브레이션 가능하고 이상치에 강건한 HDR 재구성 알고리즘 개발하기.
• 투명 필터의 불완전성과 극도로 편광된 장면이 HDR 재구성 품질에 미치는 영향 평가하기.
• 기존 소프트웨어 중심 및 편광 기반 HDR 기법에 비해 본 방법이 향상된 HDR 재구성 성능을 보임을 입증하기.

제안 방법

• 편광 카메라의 렌즈 앞에 선형 투명 필터를 배치하여, 투명 필터와 카메라 내부의 편광 격자 간의 상대 각도에 따라 네 가지 다른 노출 수준을 생성한다.
• 투명 필터와 편광 어레이를 통한 빛의 강도의 각도 의존성을 이용해 단일 촬영으로 네 장의 다중 노출 영상을 촬영한다.
• 자기 캘리브레이션 HDR 재구성 알고리즘이 투명 필터의 소멸 비율과 오차 정렬을 고려한 비선형 최적화 문제를 해결하여 진정한 장면의 방사선 밀도를 추정한다.
• 빛 누설과 불완전한 투명 필터로 인한 오류를 줄이기 위해 이상치 제거 기능을 통합하여 실세계 조건에서의 강건성을 향상시킨다.
• 수직 방향(예: 0°와 90°)의 수직 편광 상태는 노출 수준에 상당한 차이를 만들어내어 동적 범위 확장을 가능하게 한다.
• 이 방법은 가역적이다: 투명 필터를 제거하면 카메라의 원래 편광 영상 기능(예: 반사 제거, 재료 분류)을 그대로 복원할 수 있다.

Figure 1: Single-shot HDR reconstruction using a polarization camera. Our method combines a polarization camera and linear polarizing filter (top left) to capture 4 multi-exposure images simultaneously (top right) and reconstruct HDR images (bottom).

실험 결과

연구 질문

• RQ1 표준 편광 카메라가 최소한의 하드웨어 수정으로 단일 촬영 HDR 영상 촬영에 활용될 수 있는가?
• RQ2 선형 투명 필터의 소멸 비율이 HDR 재구성 정확도와 동적 범위 확장에 어떤 영향을 미치는가?
• RQ3 자기 캘리브레이션 가능하고 이상치에 강건한 알고리즘이 실세계의 불완전성 조건에서 다중 노출 편광 측정값으로부터 HDR 영상을 효과적으로 재구성할 수 있는가?
• RQ4 입사광의 편광 상태(예: 반사광)가 재구성된 HDR 영상 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 실생활에서 기존 소프트웨어 중심 및 편광 기반 HDR 재구성 기법을 능가하는가?

주요 결과

• 소멸 비율 1:500인 투명 필터를 사용할 경우 각도 추정 오차가 2.93% 이하로 유지되어 실세계의 불완전성에 강건함을 입증한다.
• 제안된 HDR 재구성 알고리즘이 정량적 지표와 시각적 품질 측면에서 최신 소프트웨어 중심 HDR 기법과 기존 편광 카메라 기반 HDR 기법을 모두 뛰어넘는다.
• 투명 필터가 수직 방향으로 설정되었을 때 반사광을 효과적으로 차단하여 강둑과 같은 표면을 명확하게 촬영할 수 있으며, 이는 표준 HDR 기법으로는 불가능한 기능이다.
• 입사광이 극도로 편광된 경우에도 동적 범위 성능을 유지하며, 다양한 편광 각도에서 재구성 품질이 유지됨을 입증한다.
• 이 방법은 가역적이며 이중 목적이다: 동일한 하드웨어로 HDR 영상 촬영과 편광 민감 영상 촬영을 모두 수행할 수 있어 유연성과 비용 효율성을 제공한다.
• 기존에 편광 카메라를 보유한 사용자에게는 최소 $40의 비용으로 HDR 기능을 확장할 수 있으며, 전용 모자이크 HDR 센서의 $500 이상의 가격 대비 매우 저렴하다.

Figure 2: Polarization and color encoding in polarization cameras. Polarization cameras contain a stacked filter grid to encode information about both polarity and color in each pixel. The top-level RGGB Bayer grid encodes color information while the underlying polarizer grid encodes polarity.