[論文レビュー] Monochrome and Color Polarization Demosaicking Using Edge-Aware Residual Interpolation

Miki Morimatsu, Yusuke Monno+2 more|arXiv (Cornell University)|Jul 28, 2020

Optical Polarization and Ellipsometry参考文献 26被引用数 5

ひとこと要約

本稿では、優れたガイド画像を生成するための新規エッジ検出器を用いたエッジに配慮した残差補間（EARI）手法を提案し、モノクロおよびカラーの偏光デモザイキングを実現した。この手法は、新たに構築された12チャンネルのカラー・偏光データセット上で最先端の性能を達成し、PSNRおよび角度誤差の両指標で既存手法を上回った。

ABSTRACT

A division-of-focal-plane or microgrid image polarimeter enables us to acquire a set of polarization images in one shot. Since the polarimeter consists of an image sensor equipped with a monochrome or color polarization filter array (MPFA or CPFA), the demosaicking process to interpolate missing pixel values plays a crucial role in obtaining high-quality polarization images. In this paper, we propose a novel MPFA demosaicking method based on edge-aware residual interpolation (EARI) and also extend it to CPFA demosaicking. The key of EARI is a new edge detector for generating an effective guide image used to interpolate the missing pixel values. We also present a newly constructed full color-polarization image dataset captured using a 3-CCD camera and a rotating polarizer. Using the dataset, we experimentally demonstrate that our EARI-based method outperforms existing methods in MPFA and CPFA demosaicking.

研究の動機と目的

• 1ショット取得法を用いて、スパarselyフィルタリングされたセンサデータから高品質な偏光画像を再構築する課題に対処すること。
• 残差補間におけるエッジに配慮したガイドを活用することで、モノクロおよびカラーの偏光フィルタアレイ（MPFA/CPFA）のデモザイキング性能を向上させること。
• 従来の補間ベースの手法がエッジを保持できず、ザイファーや色の漏れといったアーティファクトを生じるという限界を克服すること。
• デモザイキングアルゴリズムのベンチマーク評価を可能にするために、公開可能な高品質な12チャンネルのカラー・偏光画像データセットを提供すること。
• エッジに配慮したガイド画像生成が、ディープラーニングや大規模データに依存せずに補間の忠実性を顕著に向上させることを示すこと。

提案手法

• 本手法は、エッジに配慮した残差補間（EARI）を採用し、4方向（N, S, E, W）における強度および偏光エッジを推定して方向性重みで統合することでガイド画像を生成する。
• 新規のエッジ検出器が、ストークスパラメータS₀, S₁, S₂に基づいて方向性エッジ応答を計算し、ガイド画像構築のための正確なエッジ局所化を実現する。
• エッジ信頼度で重み付けされた方向性強度推定値の平均をとることで、ガイド画像を構築し、滑らかな領域では平滑化しながらも、鋭い遷移を保持する。
• MPFAデモザイキングでは、エッジに配慮したガイド画像を用いた残差補間を実行し、0°, 45°, 90°, 135°の各方向における欠落した偏光値を再構築する。
• CPFAでは、最小化されたラプラシアンを用いたカラー・デモザイキングと、提案されたEARIベースの偏光デモザイキングを組み合わせ、各カラー・チャンネルの偏光データを別々に処理する。
• 本手法はディープラーニングを避けており、エッジに配慮したガイドを用いた効率的で軽量な補間を採用しており、組み込みシステムに適している。

実験結果

リサーチクエスチョン

• RQ1 エッジに配慮したガイド画像生成は、モノクロ偏光フィルタアレイ（MPFA）におけるデモザイキング性能を顕著に向上させることができるか？
• RQ2 EARI手法は、MPFAデモザイキングにおけるPSNRおよび角度誤差という観点から、最先端の補間ベース手法と比較してどのように差をつけるか？
• RQ3 EARIフレームワークは、よりスパースで複雑なサンプリングパターンを有するカラー・偏光フィルタアレイ（CPFA）に対しても効果的に拡張可能か？
• RQ4 独自に構築した高品質な12チャンネルのカラー・偏光データセットを用いることで、偏光デモザイキングにおける性能評価の信頼性はどの程度向上するか？
• RQ5 エッジに配慮した補間は、偏光画像再構築における一般的なアーティファクト（ザイファーエフェクト、色の漏れ）を低減するか？

主な発見

• 提案されたEARI手法は、I₀で47.39 dB、I₄₅で44.91 dB、I₉₀で47.84 dB、I₁₃₅で44.63 dBのPSNRを達成し、すべての指標で最良の既存手法（PPID）を上回った。
• S₀画像に関しては、PSNRが49.62 dB、角度誤差が17.13°を達成し、PPIDの48.94 dBおよび17.65°を顕著に上回った。
• PPIDと比較して0.52°、非エッジに配慮したRIと比較して0.31°の角度誤差低減を達成し、エッジに配慮したガイドの有効性を示した。
• CPFAデータでは、EARIはI₀でCPSNR 39.41 dB、角度誤差22.18°を達成し、PPID（39.37 dB、22.40°）および非エッジに配慮したRI（39.35 dB、22.32°）を上回った。
• 視覚的結果から、EARIはザイファーアーティファクトおよび色のエッジ漏れを効果的に抑制し、よりシャープで正確なAoP-DoPの可視化を実現した。
• 新たに構築された12チャンネルのカラー・偏光データセット（3-CCDカメラと回転する偏光子を用いて40シーンを撮影）は、信頼性の高いベンチマーク評価を可能にし、本手法の優位性を裏付けた。