[論文レビュー] LEDNet: Joint Low-light Enhancement and Deblurring in the Dark

Shangchen Zhou, Chongyi Li+1 more|arXiv (Cornell University)|Feb 7, 2022

Advanced Image Processing Techniques被引用数 7

ひとこと要約

本論文は、露出過多領域のブラーを含む現実的な夜間劣化をシミュレートする新しい大規模データセット、LOL-Blurを用いてトレーニングされた、一括して低照度強調とデブラー処理を行うLEDNetを提案する。EC-Zero-DCEを用いた低照度シミュレーションと、正確なブラーモデリングに不可欠なClipping Reverseを導入した新規なデータ合成パイプラインにより、LEDNetは合成および実世界のベンチマークで最先端の性能を達成し、可視性、シャープネス、知覚的品質の面で既存手法を上回った。

ABSTRACT

Night photography typically suffers from both low light and blurring issues due to the dim environment and the common use of long exposure. While existing light enhancement and deblurring methods could deal with each problem individually, a cascade of such methods cannot work harmoniously to cope well with joint degradation of visibility and textures. Training an end-to-end network is also infeasible as no paired data is available to characterize the coexistence of low light and blurs. We address the problem by introducing a novel data synthesis pipeline that models realistic low-light blurring degradations. With the pipeline, we present the first large-scale dataset for joint low-light enhancement and deblurring. The dataset, LOL-Blur, contains 12,000 low-blur/normal-sharp pairs with diverse darkness and motion blurs in different scenarios. We further present an effective network, named LEDNet, to perform joint low-light enhancement and deblurring. Our network is unique as it is specially designed to consider the synergy between the two inter-connected tasks. Both the proposed dataset and network provide a foundation for this challenging joint task. Extensive experiments demonstrate the effectiveness of our method on both synthetic and real-world datasets.

研究の動機と目的

• 低照度と運動ブラーを同時に処理する課題に取り組むこと。既存手法は、劣化の連鎖的発生とペアデータの不足により、失敗する。
• 低照度劣化に加え、夜景に一般的に見られる露出過多領域のブラーを正確にモデリングできる、現実的なデータ合成パイプラインを開発すること。
• 12,000枚の多様な低ブラー／通常シャープな画像ペアを含む、初の大規模ペアデータセットであるLOL-Blurを構築すること。
• 一括処理で両タスクを効果的に行える統合型エンコーダ・デコーダネットワークであるLEDNetを設計すること。これにより、耐障害性と性能が向上する。

提案手法

• 露出制御による暗転処理で通常光画像をリアルな低照度劣化にシミュレートするEC-Zero-DCEを用いたデータ合成パイプラインを提案。
• ブラー生成時に露出過多強度を保持するClipping Reverse (CR)を導入し、光ストリークや露出過多領域のブラーを正確にモデリング可能にした。
• 露出過多および露出未過多領域を含む、多様な暗さレベルとブラー種別をカバーする12,000ペアの画像を含むLOL-Blurデータセットを構築。
• 照度強調に特化したエンコーダとデブラーに特化したデコーダを備えたLEDNetを設計。空間的に適応的な特徴統合を実現するため、特徴に依存するスキップ接続（FASC）を介して接続。
• グローバルな文脈を提供し、低照度強調におけるアーチファクトを抑制するため、ピラミッドプーリングモジュール（PPM）を統合。
• 空間的に変動する特徴調製を可能にするカーブベース非線形ユニット（CurveNLU）を導入。さらに、トレーニングの安定化を図るための中間強調損失を採用。

実験結果

リサーチクエスチョン

• RQ1 統合型ディープラーニングモデルは、連鎖的アプローチの限界を克服し、一括して低照度強調とデブラー処理を効果的に行えるか？
• RQ2 夜間画像に一般的に見られる露出過多領域のブラーを、トレーニングデータ生成のために正確にシミュレートする方法は何か？
• RQ3 強調とデブラーの両最適化を安定的かつ耐障害的に実現するために、どのようなアーキテクチャ的要素が不可欠か？
• RQ4 強調とデブラーの相互作用が、逐次処理と比較して性能にどれほど寄与するか？
• RQ5 提案されたデータ合成パイプラインは、既存の合成データセットと比較して、現実の夜間画像劣化をどれほど正確にモデリングできるか？

主な発見

• Real-LOL-Blurベンチマークにおいて、LEDNetは39.11のMUSIQスコアを達成し、次に優れた手法（35.37）を大きく上回り、優れた知覚的品質を示した。
• アブレーションスタディの結果、ピラミッドプーリングモジュール（PPM）を削除するとPSNRが3.89 dB低下し、顕著なアーチファクトが発生することが判明。これはPPMが安定性に不可欠であることを証明した。
• CurveNLUにより、空間的に適応的な特徴調製が可能であり、視覚的分析から特徴強調が領域に応じて適応的かつ詳細を効果的に保持していることが確認された。
• FASC接続は単純な連結より優れており、SSIMが0.027向上、PSNRが0.44 dB向上した。これは、空間的に変動するブラーモデルに対処する上で有効であることを示した。
• 強調損失（ℒ_en）を削除すると性能が著しく低下し、PSNRが25.74から24.05に低下した。これは、joint最適化の安定化においてその損失関数が重要な役割を果たしていることを確認した。
• Clipping Reverseを用いた提案されたデータ合成パイプラインは、標準的な平均化手法と比較して、露出過多ブラーをより現実的に生成でき、視覚的比較と実世界の夜間画像への一般化性能の向上により検証された。