[論文レビュー] Learning Semantic-Aware Knowledge Guidance for Low-Light Image Enhancement

Yuhui Wu, Pan Chen+5 more|arXiv (Cornell University)|Apr 14, 2023

Image Enhancement Techniques被引用数 11

ひとこと要約

SKF は事前学習済みのセグメンテーションネットワークからセマンティック priors を導入し、特徴レベルの埋め込み、セマンティック案内カラーヒストグラム損失、およびセマンティック案内敵対損失を通じて低照度画像の強化を指示し、複数の LLIE ベースラインとデータセットにわたって一貫した改善をもたらす。

ABSTRACT

Low-light image enhancement (LLIE) investigates how to improve illumination and produce normal-light images. The majority of existing methods improve low-light images via a global and uniform manner, without taking into account the semantic information of different regions. Without semantic priors, a network may easily deviate from a region's original color. To address this issue, we propose a novel semantic-aware knowledge-guided framework (SKF) that can assist a low-light enhancement model in learning rich and diverse priors encapsulated in a semantic segmentation model. We concentrate on incorporating semantic knowledge from three key aspects: a semantic-aware embedding module that wisely integrates semantic priors in feature representation space, a semantic-guided color histogram loss that preserves color consistency of various instances, and a semantic-guided adversarial loss that produces more natural textures by semantic priors. Our SKF is appealing in acting as a general framework in LLIE task. Extensive experiments show that models equipped with the SKF significantly outperform the baselines on multiple datasets and our SKF generalizes to different models and scenes well. The code is available at Semantic-Aware-Low-Light-Image-Enhancement.

研究の動機と目的

• 低照度画像で領域固有の色とディテールを保存するために、セマンティック情報を活用した強化手法を動機づける。
• 事前学習済みのセグメンテーションネットワークからセマンティック知識ベース（SKB）を提案し、LLIE の priors を提供する。
• セマンティック対応の埋め込みモジュールを設計し、セマンティックと画像特徴を融合する。
• 領域ごとの色の一貫性を強制するセマンティック案内カラーヒストグラム損失を導入する。
• セマンティック priors によってガイドされたより自然な質感を生み出すセマンティック案内敵対損失を開発する。

提案手法

• PASCAL-Context で事前学習済みの HRNet をセマンティック知識ベース（SKB）として使用する。
• セマンティック対応の埋め込み（SE）モジュールを導入し、セマンティック特徴と画像特徴の間でセマンティック対応アテンション機構を介してクロスモーダル・マルチスケールの特徴相互作用を行う。
• セマンティック案内カラーヒストグラム（SCH）損失を提案し、強化された画像をセマンティ maps で区分して領域ごとに微分可能なヒストグラムを推定することで領域ごとの色の一貫性を強制する。
• セマンティック案内のグローバル識別器と、セグメンテーションマップでガイドされた領域に焦点を当てるローカルパッチ識別器を組み合わせたセマンティック案内対戦識別損失（SA）を定義する。
• 統合損失で強化ネットワークを訓練する：L_all = L_recon + lambda_SCH * L_SCH + lambda_SA * L_SA、ここで L_recon はタスク固有の再構成損失。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションモデルからのセマンティック priors を LLIE に効果的に統合して、様々な領域での色の忠実度とテクスチャを改善するにはどうすればよいか。
• RQ2 セマンティック知識を活用して低照度強化をガイドする最適なモジュールと損失は何か。
• RQ3 セマンティック priors は異なる LLIE モデルとデータセットで一般化するか。
• RQ4 SKF が実データセットおよび非ペアデータセットの標準的な LLIE 指標に及ぼす定量的影響はどの程度か。

主な発見

• SKF は LOL および LOL-v2 データセットでベースラインの LLIE モデルを一貫して改善し、PSNR/SSIM の顕著な向上と知覚指標（LPIPS, NIQE）の改善を示す。
• SE モジュールはセマンティック特徴と画像特徴の間の効果的なクロスモーダル相互作用を実現し、色の忠実度とディテールの保持を改善する。
• SCH 損失はセマンティ maps によって導かれた領域ごとの differentiable な色ヒストグラムを計算することで領域ごとの色の一貫性を強制する。
• SA 損失はグローバルおよびローカルの敵対的ガイダンスを組み合わせて、セマンティック priors に整合したより自然な質感を生み出す。
• LLFlow-L-SKF は SKF 強化モデルの中で LOL/LOL-v2 における最先端の PSNR を達成し、モデルとシーンを超えた強い一般化を示す。
• アブレーション研究は、SCH 損失、SE モジュール、SA 損失が全体の性能向上に寄与することを確認した。