[論文レビュー] Pyramid Fusion Dark Channel Prior for Single Image Dehazing

Qiyuan Liang, Bin Zhu+1 more|arXiv (Cornell University)|May 21, 2021

Image Enhancement Techniques参考文献 22被引用数 4

ひとこと要約

本稿では、複数の画像スケールにおける透過マップを重み付き融合戦略を用いて統合することで、従来のダークチャネルプライア（DCP）を改善した、ピラミッド融合ダークチャネルプライア（PF-DCP）を提案する。手動でのパッチサイズ選定の必要性を排除し、ハローアーチファクトを低減することで、従来手法の中で最先端の性能を達成し、深層学習手法と同等の性能を発揮する。RESIDE SOTSでPSNRは23.07、SSIMは0.91を達成した。

ABSTRACT

In this paper, we propose the pyramid fusion dark channel prior (PF-DCP) for single image dehazing. Based on the well-known Dark Channel Prior (DCP), we introduce an easy yet effective approach PF-DCP by employing the DCP algorithm at a pyramid of multi-scale images to alleviate the problem of patch size selection. In this case, we obtain the final transmission map by fusing transmission maps at each level to recover a high-quality haze-free image. Experiments on RESIDE SOTS show that PF-DCP not only outperforms the traditional prior-based methods with a large margin but also achieves comparable or even better results of state-of-art deep learning approaches. Furthermore, the visual quality is also greatly improved with much fewer color distortions and halo artifacts.

研究の動機と目的

• ダークチャネルプライア（DCP）におけるパッチサイズ選定の重大な制限を解消すること。これは透過マップの正確性とホコリ除去品質に影響を与える。
• マルチスケール画像ピラミッドを活用することで、従来のホコリ除去手法のロバスト性と性能を向上させること。
• 重み付き統合戦略を用いることで、DCPベースの手法に一般的に見られる色の歪みとハローアーチファクトを低減すること。
• 大規模な学習を必要とせず、解釈可能性を損なわずに、深層学習モデルと同等の性能を達成すること。
• 大規模な学習データを必要とせず、計算効率が良く、説明可能で、実世界のホコリ除去アプリケーションに適したブラックボックス型の深層学習モデルの代替手段を提供すること。

提案手法

• 入力の曇り画像からマルチスケール画像ピラミッドを構築し、異なる解像度での特徴を捉える。
• 各ピラミッドレベルで独立してダークチャネルプライア（DCP）を適用し、透過マップを計算する。
• 反復的な重み付き統合戦略を用いて、異なるスケールからの透過マップを統合し、統合重みはシーンタイプ（屋内／屋外）に応じて最適化する。
• 統合された透過マップと標準的な大気散乱モデルを用いて大気光を推定し、ホコリなし画像を回復する。
• RESIDEトレーニングセットにおける経験的評価から得られた固定の統合重み比（屋内：4:1、屋外：80:1）を適用する。
• マルチスケール統合により高周波成分を保持することで、画像のシャープネスを維持し、アーチファクトを低減する。

実験結果

リサーチクエスチョン

• RQ1 透過マップのマルチスケール統合は、単一画像ホコリ除去におけるダークチャネルプライアの正確性とロバスト性を向上させ得るか？
• RQ2 パッチサイズの選定がDCPの性能に与える影響は何か？また、マルチスケール統合によってこの依存性は解消可能か？
• RQ3 従来の深層学習を用いない手法、たとえばPF-DCPは、最近の深層学習ベースのホコリ除去モデルと同等か、それ以上の性能を達成できるか？
• RQ4 提案された重み付き統合戦略は、元のDCPと比較してハローアーチファクトと色の歪みを低減するか？
• RQ5 PF-DCPは、大規模な学習データを必要とせず、最小限の計算コストで高品質なホコリ除去を達成できるか？

主な発見

• PF-DCPはRESIDE SOTSベンチマークでPSNR 23.07、SSIM 0.91を達成し、DCP、BCCR、CAP、NLDといった従来のプライアベース手法を上回った。
• ハローアーチファクトと色の歪みが顕著に低減され、元のDCPと比較して視覚的により自然で魅力的なホコリ除去画像が得られた。
• トレーニング不要で解釈可能な手法であるにもかかわらず、GFN や EPDN といった最先端の深層学習モデルと同等の性能を達成した。
• 屋内シーンでは4:1、屋外シーンでは80:1の統合重み比が最適な性能をもたらし、シーンに応じた統合戦略の感受性を示した。
• PF-DCPの計算コストはDCPと比較して平均で30％しか増加しないため、リアルタイム応用においても効率的で実用的である。
• PF-DCPは高い画像のシャープネスと詳細の保持を維持しており、多くのプライアベースおよび深層学習ベースのホコリ除去手法で見られるぼやけを回避した。