[論文レビュー] Deep Demosaicing for Polarimetric Filter Array Cameras

Mara Pistellato, Filippo Bergamasco+2 more|PubMed|Nov 24, 2022

Optical Polarization and Ellipsometry被引用数 4

ひとこと要約

本稿では、偏光フィルタアレイ（PFA）カメラ向けに、2×2のフィルタパターンを保持するためのモザイク畳み込みを用い、消費者用LCDスクリーンを用いた実世界のデータ収集法により、カメラ固有の非線形性を学習する、新しいCNNベースのデモザイキングネットワークPFADNを提案する。偏光角度推定の平均絶対誤差が0.46°という最先端の性能を達成し、アルゴリズム的手法および学習ベースのベースラインを上回る。

ABSTRACT

Polarisation Filter Array (PFA) cameras allow the analysis of light polarisation state in a simple and cost-effective manner. Such filter arrays work as the Bayer pattern for colour cameras, sharing similar advantages and drawbacks. Among the others, the raw image must be demosaiced considering the local variations of the PFA and the characteristics of the imaged scene. Non-linear effects, like the cross-talk among neighbouring pixels, are difficult to explicitly model and suggest the potential advantage of a data-driven learning approach. However, the PFA cannot be removed from the sensor, making it difficult to acquire the ground-truth polarization state for training. In this work we propose a novel CNN-based model which directly demosaics the raw camera image to a per-pixel Stokes vector. Our contribution is twofold. First, we propose a network architecture composed by a sequence of Mosaiced Convolutions operating coherently with the local arrangement of the different filters. Second, we introduce a new method, employing a consumer LCD screen, to effectively acquire real-world data for training. The process is designed to be invariant by monitor gamma and external lighting conditions. We extensively compared our method against algorithmic and learning-based demosaicing techniques, obtaining a consistently lower error especially in terms of polarisation angle.

研究の動機と目的

• センサ固有の非線形性（クロストークやノイズなど）を考慮しつつ、生のPFAカメラ画像をフル解像度のストークスベクトルにデモザイキングする課題に対処すること。
• 合成または代用データに依存する既存の制限を回避するため、消費者用LCDスクリーンからの実世界測定を用いたデータ駆動型アプローチを開発すること。
• PFAセンサの局所的な2×2フィルタパターンを明示的にモデル化するための新規なモザイク畳み込み演算を備えたCNNアーキテクチャを設計すること。
• 従来のアルゴリズム的手法およびディープラーニング手法を上回る、特に偏光角度推定におけるデモザイキング精度の向上を図ること。
• 低コストで容易に入手可能なデータ収集を活用して、カメラ固有のファインチューニングが可能となるようにし、実世界への実用的導入を可能にすること。

提案手法

• 新規なモザイク畳み込みブロックを導入し、PFAフィルタの局所的な2×2配置（0°、45°、90°、135°）に応じて異なる畳み込みカーネルを適用することで、空間的・偏光的構造を保持する。
• PFADNネットワークは、生のPFA画像をエンドツーエンド処理し、フル解像度の強度および偏光角度（AoLP）マップの両方を出力する。
• 実世界のトレーニングデータは、消費者用LCDモニタを用いて収集され、モニタのガンマおよび視野角非線形性を補正するためのキャリブレーション手法が用いられる。
• データ収集パイプラインにより、モニタのピクセルの偏光状態がPFAセンサに正確にマッピングされ、フィルタアレイを外さずに現実的なトレーニングが可能になる。
• ネットワークは、強度のためのPSNRと偏光角度のためのMAEを最小化するように学習され、二出力回帰タスクに特化した損失関数が使用される。
• LCDの既知の偏光特性と制御された視野幾何を活用することで、ガンマおよび照明条件に依存しない不変性を実現する。

Figure 1: Our method demosaics a PFA camera image to produce a high-resolution intensity image (center) and angle of polarisation (right).

実験結果

リサーチクエスチョン

• RQ1 従来のアルゴリズム的手法と比較して、データ駆動型のディープラーニングモデルがPFAカメラにおけるデモザイキング性能を優れたものにできるか？
• RQ2 特別なハードウェアや真値の偏光センサを必要とせず、消費者用LCDスクリーンを用いて実世界のトレーニングデータを効果的に収集できるか？
• RQ3 PFAの2×2フィルタパターンをモザイク畳み込みで明示的にモデル化したCNNアーキテクチャが、標準的な畳み込み層を上回るデモザイキング精度を達成できるか？
• RQ4 実世界データでトレーニングされたモデルが、クロストークやノイズなどのセンサ固有の非線形性をどれほど正確に捉えられるか？特に偏光角度推定の向上に寄与するか？
• RQ5 異なるシーンやカメラ機器にわたって一般化できるか？強度と偏光角度再構成両方の高精度を維持できるか？

主な発見

• PFADNはテストセットにおいて偏光角度推定の平均絶対誤差（MAE）が0.46°を達成し、すべての競合手法を顕著に上回る。
• 強度画像のPSNR誤差は32.31 dBまで低下し、最先端のスケーリング手法と同等の性能を示す一方で、角度誤差は著しく低い。
• 強度と角度に別々のモデルを用いるFSRCNNベースの手法と比較して、単一の統合アーキテクチャでより優れた角度精度を達成している。
• ノイズのある入力条件下（ガウスノイズσN = 0.01まで）でも、PSNRおよび角度MAEの両方で優れた性能を維持しており、劣化に強いことが示された。
• 定性的な結果では、PFADNは特にエッジ付近やDOLPが低い領域で、よりシャープでノイズの少ない強度画像と偏光角度マップを生成している。
• アルゴリズム的手法（バイキュービックおよび強度相関）と比較して、複雑なシーンにおいても一貫して優れた性能を示しており、カメラ固有の非線形性を効果的に捉えていることが実証された。

Figure 2: Overview of the proposed data aquisition procedure. An LCD screen is observed in several different poses. Three images are acquired for each pose: (i) a Charuco board $I_{C_{i}}$ , (ii) a random sample from the DIV2K dataset $I_{R_{i}}$ and (iii) a black image. The black image is subtracte