[論文レビュー] Low-Light Image Enhancement via Structure Modeling and Guidance

Xiaogang Xu, Ruixing Wang+1 more|arXiv (Cornell University)|May 10, 2023

Image Enhancement Techniques被引用数 5

ひとこと要約

本稿では、GANで訓練された構造に配慮した生成モデルと構造をガイドする強化モジュールを用いて、構造的エッジを統合的にモデル化し、外観強化をガイドする、新規な低照度画像強調フレームワークを提案する。エッジマップを活用することで、鋭く現実的な結果が得られ、sRGBおよびRAWデータセットの両方でPSNRおよびSSIMの観点から一貫した最先端性能を達成する。

ABSTRACT

This paper proposes a new framework for low-light image enhancement by simultaneously conducting the appearance as well as structure modeling. It employs the structural feature to guide the appearance enhancement, leading to sharp and realistic results. The structure modeling in our framework is implemented as the edge detection in low-light images. It is achieved with a modified generative model via designing a structure-aware feature extractor and generator. The detected edge maps can accurately emphasize the essential structural information, and the edge prediction is robust towards the noises in dark areas. Moreover, to improve the appearance modeling, which is implemented with a simple U-Net, a novel structure-guided enhancement module is proposed with structure-guided feature synthesis layers. The appearance modeling, edge detector, and enhancement module can be trained end-to-end. The experiments are conducted on representative datasets (sRGB and RAW domains), showing that our model consistently achieves SOTA performance on all datasets with the same architecture.

研究の動機と目的

• 既存の低照度強調手法が構造的詳細を明示的にモデル化できないため、ぼやけた結果や低SSIMに至るという制限に対処する。
• エッジを構造的事前知識としてモデル化することで、暗くノイジーな領域における再構成品質と構造的忠実性を向上させる。
• 外観強調と構造的詳細の回復を同時に実行する統合的でエンド・ツー・エンドで訓練可能なフレームワークを開発する。
• sRGBおよびRAWドメインを含む多様なデータセットにおいて一般化性とロバスト性を示し、一貫したSOTA性能を実証する。

提案手法

• 低照度画像およびその勾配から構造に配慮した特徴を抽出するため、空間的に変化する演算（適応的長距離および短距離計算）を適用する構造に配慮した特徴抽出器（SAFE）を設計する。
• GAN損失を用いて微調整されたスタイルGANベースの生成モデル（S）を訓練し、エッジマップを予測することで、暗所におけるノイズや視認性の低さに対する耐性を高める。
• 予測されたエッジマップから生成される空間的に適応する畳み込みおよび正規化パラメータを用いて、外観特徴を精緻化する構造ガイドド強化モジュール（SGEM）を導入する。
• SGEMによる残差精緻化を施した軽量なU-Netバックボーンを用いて外観モデリングを実装する。
• GAN損失、L2損失、および知覚損失を組み合わせた損失関数を用いて、構造モデル（S）、外観モデル（A）、強化モジュール（E）をエンド・ツー・エンドで訓練する。
• 通常光画像からの対応する正例マップを用いてSを再訓練することで、他の構造的表現（例：セグメンテーション、深度）への一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エッジ予測による明示的な構造モデリングは、低照度画像強調の品質を向上させ、ぼやけを低減できるか？
• RQ2 従来の回帰ベースの手法と比較して、低照度画像における構造モデリングにGAN損失を用いることで、アーティファクト低減およびエッジ精度の向上がどの程度達成できるか？
• RQ3 構造ガイドド特徴合成は、標準的なU-Netアーキテクチャを上回って外観再構成をどの程度向上させるか？
• RQ4 提案フレームワークは、sRGBとRAWの異なる画像ドメインに一般化可能であり、同一アーキテクチャでSOTA性能を維持できるか？
• RQ5 AVAデータセットからの追加の教師ありデータを用いることで、極めて暗い領域における構造モデリングはどの程度向上するか？

主な発見

• 提案手法は、すべてのベンチマークデータセット（SID、LOL-合成、LOL-実際、sRGB/RAWドメイン）でSOTA性能を達成し、LOL-実際ではPSNR 24.62 dB、SSIM 0.867を記録し、すべてのベースラインを上回る。
• アブレーションスタディにより、構造モデリングにおけるGAN損失が、特にノイジーで暗い領域において、アーティファクトを顕著に低減し、エッジマップ品質を向上させることを確認した。
• 構造ガイドド強化モジュール（SGEM）は、外観再構成を効果的に向上させ、SGEMを含まないアブレーションと比較してPSNRおよびSSIMスコアが高くなった。
• AVAデータセットからの追加データを用いて構造モデル（S）をファインチューニングすることで、さらに性能が向上し、LOL-実際ではPSNR 25.57 dB、SSIM 0.885を達成した。
• 100名の参加者によるユーザースタディーでは、本手法が視覚的品質において優れていると認識され、ベースラインと比較して高評価（4–5）が著しく多く、低評価（1–2）は著しく少なかった。
• DPTベースの監視を用いる場合、他の構造的表現（例：セグメンテーション、深度マップ）に対しても一般化性能が高く、ベースラインを常に上回る結果を得た。