[論文レビュー] Snapshot High Dynamic Range Imaging with a Polarization Camera

Mingyang Xie, Matthew Chan+1 more|arXiv (Cornell University)|Aug 16, 2023

Optical measurement and interference techniquesComputer Science被引用数 3

ひとこと要約

本論文では、レンズの前に線形偏光子を配置することで、市販の偏光カメラを低コストで逆引き可能に変換し、1回のシャッターで4つの異なる露出の画像を同時に取得できるスナップショット高ダイナミックレンジ（HDR）イメージングシステムに変換する手法を提示する。著者らは、不完全な偏光子や光漏れを補正できる自己キャリブレーション型で外れ値に強いHDR再構成アルゴリズムを提案し、最新のソフトウェアオンリーや偏光ベースのHDR手法を上回る高い正確性を達成している。

ABSTRACT

High dynamic range (HDR) images are important for a range of tasks, from navigation to consumer photography. Accordingly, a host of specialized HDR sensors have been developed, the most successful of which are based on capturing variable per-pixel exposures. In essence, these methods capture an entire exposure bracket sequence at once in a single shot. This paper presents a straightforward but highly effective approach for turning an off-the-shelf polarization camera into a high-performance HDR camera. By placing a linear polarizer in front of the polarization camera, we are able to simultaneously capture four images with varied exposures, which are determined by the orientation of the polarizer. We develop an outlier-robust and self-calibrating algorithm to reconstruct an HDR image (at a single polarity) from these measurements. Finally, we demonstrate the efficacy of our approach with extensive real-world experiments.

研究の動機と目的

• 既存の偏光カメラに最小限のハードウェア改造で高ダイナミックレンジ（HDR）イメージングを可能にする。
• 偏光多重化を用いた1ショットHDR撮影により、複数ショットHDRにおける動きによるゴーストを解消する。
• 不完全な偏光子や光漏れを補正できる自己キャリブレーション型で外れ値に強いHDR再構成アルゴリズムを開発する。
• 偏光子の不完全さや偏光度の高いシーンがHDR再構成品質に与える影響を評価する。
• 本手法がソフトウェアオンリーおよび既存の偏光ベースHDR技術に比べ、実用的に優れたHDR再構成性能を発揮することを示す。

提案手法

• 線形偏光子を偏光カメラのレンズの前に配置し、偏光子とカメラ内蔵の偏光グリッドの相対的偏光角度に応じて4つの異なる露出レベルを実現する。
• 偏光子と偏光アレイを介した透過光強度の角度依存性を活用し、1ショットで4つのマルチ露出画像を取得する。
• 自己キャリブレーション型HDR再構成アルゴリズムは、偏光子の消光比とずれを考慮した非線形最適化問題を解き、真のシーン放射輝度を推定する。
• 光漏れや不完全な偏光子による誤差を低減するための外れ値除去を組み込み、実環境における耐障害性を向上させる。
• 直交する偏光状態（例：0°と90°）が著しく異なる露出を生じることを活用し、ダイナミックレンジを拡張する。
• 本手法は逆引き可能である：偏光子を外すことで、反射除去や材料分類などの応用に適した元の偏光イメージング機能を復元できる。

Figure 1: Single-shot HDR reconstruction using a polarization camera. Our method combines a polarization camera and linear polarizing filter (top left) to capture 4 multi-exposure images simultaneously (top right) and reconstruct HDR images (bottom).

実験結果

リサーチクエスチョン

• RQ1 標準的な偏光カメラを、最小限のハードウェア改造でスナップショットHDRイメージングに再利用可能か？
• RQ2 線形偏光子の消光比はHDR再構成の正確性とダイナミックレンジ拡張にどのように影響するか？
• RQ3 自己キャリブレーション型で外れ値に強いアルゴリズムは、実環境の不完全さを伴うマルチ露出偏光測定からHDR画像を効果的に再構成できるか？
• RQ4 入射光の偏光状態（例：鏡面反射由来）は再構成HDR画像の品質にどのように影響するか？
• RQ5 本手法は実用的に、既存のソフトウェアオンリーや偏光ベースHDR再構成技術を上回る性能を発揮するか？

主な発見

• 消光比1:500の偏光子を用いた場合、角度推定誤差が2.93%にとどまり、実環境の不完全さに対しても高い耐性を示した。
• 提案されたHDR再構成アルゴリズムは、定量的指標および視覚的品質の両面で、最新のソフトウェアオンリーHDR手法および既存の偏光カメラベースHDR技術を顕著に上回った。
• 偏光子を垂直方向に設定することで、鏡面反射を効果的にフィルタリングでき、河床などの下層表面を明瞭に撮影できた。これは標準HDR手法では達成できない。
• 入射光が強く偏光されている場合でも、本手法は偏光角度にかかわらず高いダイナミックレンジ性能を維持し、再構成品質が保持された。
• 本手法は逆引き可能で二重用途が可能である：同じハードウェアをHDRイメージングと偏光感受性イメージングの両方で使用でき、柔軟性とコスト効率を提供する。
• 既に偏光カメラを所有しているユーザーにとっては、本システムのコストがたった40ドルで抑えられ、500ドルを超える専用のモザイクHDRセンサーよりも大幅に安価である。

Figure 2: Polarization and color encoding in polarization cameras. Polarization cameras contain a stacked filter grid to encode information about both polarity and color in each pixel. The top-level RGGB Bayer grid encodes color information while the underlying polarizer grid encodes polarity.