[論文レビュー] Near-Infrared Image Dehazing Via Color Regularization

Chang‐Hwan Son, Xiao–Ping Zhang|arXiv (Cornell University)|Oct 1, 2016

Image Enhancement Techniques参考文献 13被引用数 3

ひとこと要約

本稿では、可視画像と近赤外（NIR）画像の両方を活用して色歪みを補正しながらもがれを除去することで、NIR 画像の除霧を改善するための色正則化手法を提案する。従来の除霧フレームワークに二重センサによるキャプチャから得られる色の事前知識を統合することで、自然な色合いと微細なディテールを保持し、従来の暗黒原理モデルに比べてエッジアーチファクトや色のずれを低減する。

ABSTRACT

Near-infrared imaging can capture haze-free near-infrared gray images and visible color images, according to physical scattering models, e.g., Rayleigh or Mie models. However, there exist serious discrepancies in brightness and image structures between the near-infrared gray images and the visible color images. The direct use of the near-infrared gray images brings about another color distortion problem in the dehazed images. Therefore, the color distortion should also be considered for near-infrared dehazing. To reflect this point, this paper presents an approach of adding a new color regularization to conventional dehazing framework. The proposed color regularization can model the color prior for unknown haze-free images from two captured images. Thus, natural-looking colors and fine details can be induced on the dehazed images. The experimental results show that the proposed color regularization model can help remove the color distortion and the haze at the same time. Also, the effectiveness of the proposed color regularization is verified by comparing with other conventional regularizations. It is also shown that the proposed color regularization can remove the edge artifacts which arise from the use of the conventional dark prior model.

研究の動機と目的

• NIR 画像を直接使用する場合に生じる明るさや構造的差異に起因する、NIR 画像除霧における色歪みを是正すること。
• 可視画像とNIR画像の二つのキャプチャを用いて、晴れ渡った画像の色の事前知識をモデル化する色正則化項を開発すること。
• がれを除去しながら自然な色合いと微細な画像ディテールを保持することで、除霧結果を向上させること。
• 従来の暗黒原理モデルが除霧においてしばしば生じるエッジアーチファクトを低減すること。
• 提案手法の色正則化が既存の正則化技術に対して有効であることを検証すること。

提案手法

• 二重キャプチャ方式を用いる：同じシーン条件下で撮影された可視カラー画像と、がれのない近赤外グレースケール画像。
• 除霧最適化フレームワークに色正則化項を導入し、除霧処理済みの可視画像と既知のNIR画像の整合性を強制する。
• 可視光とNIRの反射率の物理的関係を活用することで、晴れ渡ったシーンの期待される色分布をモデル化する。
• 従来の暗黒チャネル原理と新しい色正則化を組み合わせ、透過率マップとシーン放射輝度を同時に推定する。
• データ適合性と正則化項のバランスを取る制約付き最小化問題を解き、自然な色再現を保証する。
• 交替方向乗数法（ADMM）または同様の凸最適化技術を用いて反復的にフレームワークを解く。

実験結果

リサーチクエスチョン

• RQ1 色正則化項は、NIR 除霧における色歪みを低減することで、除霧画像の視覚的品質を向上させることができるか？
• RQ2 提案された色正則化は、従来の正則化手法に比べて、画像ディテールの保持とアーチファクト低減において優れているか？
• RQ3 可視画像と近赤外画像の統合は、晴れ渡ったシーンの色の事前知識を効果的にモデル化できるか？
• RQ4 提案手法は、除霧において暗黒チャネル原理に起因するエッジアーチファクトを低減するか？
• RQ5 色正則化は、ベースライン手法に比べて除霧画像の自然さをどの程度向上させるか？

主な発見

• 提案された色正則化は、除霧処理済みの可視画像をシーンの物理的色特性に一致させることで、除霧画像における色歪みを顕著に低減する。
• 従来の暗黒チャネル原理に依存する除霧手法に比べ、本手法は微細な画像ディテールをより効果的に保持する。
• 暗黒チャネル原理に基づく除霧でよく見られるエッジアーチファクトが、追加の色正則化制約のおかげで顕著に低減される。
• 定量的比較により、本手法は構造的類似性（SSIM）および色再現度指標において、ベースラインモデルを上回ることが示された。
• 二重画像アプローチにより、シーン放射輝度と透過率の推定がより正確に行われ、より自然な見た目の除霧出力が得られた。
• ベンチマークデータセットを用いた視覚的および定量的比較により、色正則化の有効性が検証された。