[論文レビュー] Enhancing Visibility in Nighttime Haze Images Using Guided APSF and Gradient Adaptive Convolution

Yeying Jin, Beibei Lin+4 more|arXiv (Cornell University)|Aug 3, 2023

Image Enhancement Techniques被引用数 7

ひとこと要約

本稿では、一括画像の夜間霞まぎれ除去のための学習ベースのフレームワークを提案する。このフレームワークは、同時に発光（グロー）の抑制と低照度領域の強調を実現する。APSFガイド付き発光レンダリングパイプラインと照度感知ネットワークを用いて現実的な発光効果をシミュレートし、勾配適応型畳み込みでエッジやテクスチャを保持し、アテンションガイド付きモジュールで低照度強調を実現。GTA5データセット上でPSNR 30.38 dBを達成し、最先端手法よりも13%高い性能を発揮した。

ABSTRACT

Visibility in hazy nighttime scenes is frequently reduced by multiple factors, including low light, intense glow, light scattering, and the presence of multicolored light sources. Existing nighttime dehazing methods often struggle with handling glow or low-light conditions, resulting in either excessively dark visuals or unsuppressed glow outputs. In this paper, we enhance the visibility from a single nighttime haze image by suppressing glow and enhancing low-light regions. To handle glow effects, our framework learns from the rendered glow pairs. Specifically, a light source aware network is proposed to detect light sources of night images, followed by the APSF (Atmospheric Point Spread Function)-guided glow rendering. Our framework is then trained on the rendered images, resulting in glow suppression. Moreover, we utilize gradient-adaptive convolution, to capture edges and textures in hazy scenes. By leveraging extracted edges and textures, we enhance the contrast of the scene without losing important structural details. To boost low-light intensity, our network learns an attention map, then adjusted by gamma correction. This attention has high values on low-light regions and low values on haze and glow regions. Extensive evaluation on real nighttime haze images, demonstrates the effectiveness of our method. Our experiments demonstrate that our method achieves a PSNR of 30.38dB, outperforming state-of-the-art methods by 13% on GTA5 nighttime haze dataset. Our data and code is available at https://github.com/jinyeying/nighttime_dehaze.

研究の動機と目的

• 人工光源や発光効果の複雑さにより、夜間の霞まぎれ除去のための実際のペaired訓練データが不足している問題に対処する。
• 既存手法が過度に暗い出力を生成するか、霞みがかった夜間シーンにおける発光の抑制に失敗するという制限を克服する。
• 一度の統合フレームワーク内で、発光抑制、低照度強調、構造的ディテールの保持という複数の課題を同時に処理する。
• 合成されたAPSFガイド付き発光レンダリングデータを用いた半教師付き学習戦略を開発し、実世界の夜間霞みがかった画像への一般化性能を向上させる。
• エッジ、テクスチャ、照度感知強調モジュールを統合することで、可視性強化の面で優れた性能を達成する。

提案手法

• 夜間画像における光源位置を検出できる照度感知ネットワークを導入し、発光レンダリングを的確に実行する。
• APSFガイド付き発光レンダリングを適用し、検出された光源に現実的な発光効果を付加することで、発光抑制のための合成訓練データを生成する。
• レンダリング済みの発光ペアで主ネットワークを学習させ、発光を抑制しつつシーン構造を保持する能力を習得させる。
• 勾配適応型畳み込み（GAC）を実装し、勾配マップとバイリタラルカーネルを組み合わせて、霞みがかった画像からのエッジとテクスチャを抽出する。
• 抽出されたエッジとテクスチャをガイドとして、霞まぎれ除去の過程で画像のコントラストと構造的ディテールを強調する。
• 低照度領域に高い重みを割り当て、はだかや発光領域に低い重みを割り当てるアテンションガイド付き強調モジュールを導入し、その後ガンマ補正で暗い領域を強化する。

実験結果

リサーチクエスチョン

• RQ1 実際のペaired訓練データに依存せずに、学習ベースのフレームワークが夜間の霞みがかった画像における発光を効果的に抑制できるか。
• RQ2 勾配適応型畳み込みは、コントラストが低く、霞みがかった夜間のシーンにおいて、エッジとテクスチャの保持をどのように向上させるか。
• RQ3 アテンションベースの強調は、はだかやノイズを増幅させることなく、暗い領域の可視性を効果的に回復できるか。
• RQ4 APSFガイド付き発光レンダリングは、実世界の夜間霞まぎれ除去において、一般化性能と発光抑制の両面でどの程度向上をもたらすか。
• RQ5 個々のモジュール（発光レンダリング、GAC、アテンション強調）は、全体の性能向上にどの程度寄与しているか。

主な発見

• 提案手法は、GTA5の夜間霞みがかったデータセットでPSNR 30.38 dBを達成し、最先端手法よりも13%高い性能を発揮した。
• 定性的な結果から、本手法ははだかと発光を効果的に除去し、木々、建物、道路構造の細かいディテールを保持しながら低照度領域を強調していることが確認された。
• アブレーションスタディの結果、APSFガイド付き発光レンダリング、勾配適応型畳み込み、アテンションガイド付き強調という各モジュールが性能向上に顕著な寄与をしていることが裏付けられた。
• 実世界の夜間霞みがかった画像に対するユーザースタディでは、本手法が全評価指標で最高得点を獲得し、その知覚的優位性が確認された。
• ドメインギャップにもかかわらず、本フレームワークは実世界のシーンにうまく一般化できており、実データセットでの強力な性能と多様な照明条件へのロバストネスによって裏付けられた。
• 合成されたAPSFガイド付き発光データの使用により、実際の真値の晴れ画像が不要な半教師付き学習が可能となり、発光抑制の学習が実現した。