[論文レビュー] You Only Need One Color Space: An Efficient Network for Low-light Image Enhancement

Qingsen Yan, Yixu Feng+6 more|arXiv (Cornell University)|Feb 8, 2024

Image Enhancement Techniques被引用数 18

ひとこと要約

CIDNetは、トレーニング可能な Horizontal/Vertical-Intensity (HVI) カラースペースと、軽量なクロスアテンションを備えた双方向ネットワークを導入し、明るさと色をデカップリングして、複雑さを低く抑えつつ11データセットで最先端を達成します。

ABSTRACT

Low-Light Image Enhancement (LLIE) task tends to restore the details and visual information from corrupted low-light images. Most existing methods learn the mapping function between low/normal-light images by Deep Neural Networks (DNNs) on sRGB and HSV color space. Nevertheless, enhancement involves amplifying image signals, and applying these color spaces to low-light images with a low signal-to-noise ratio can introduce sensitivity and instability into the enhancement process. Consequently, this results in the presence of color artifacts and brightness artifacts in the enhanced images. To alleviate this problem, we propose a novel trainable color space, named Horizontal/Vertical-Intensity (HVI). It not only decouples brightness and color from RGB channels to mitigate the instability during enhancement but also adapts to low-light images in different illumination ranges due to the trainable parameters. Further, we design a novel Color and Intensity Decoupling Network (CIDNet) with two branches dedicated to processing the decoupled image brightness and color in the HVI space. Within CIDNet, we introduce the Lightweight Cross-Attention (LCA) module to facilitate interaction between image structure and content information in both branches, while also suppressing noise in low-light images. Finally, we conducted 22 quantitative and qualitative experiments to show that the proposed CIDNet outperforms the state-of-the-art methods on 11 datasets. The code is available at https://github.com/Fediory/HVI-CIDNet.

研究の動機と目的

• RGBベースのカラースペース（sRGB/HSV）によって生じる低照度強化（LLIE）での不安定性に取り組む動機付け。
• 明るさと色を分離させるトレーニング可能なHVIカラースペースを提案し、さまざまな照明レベルに適応させる。
• CIDNetを開発する：HVI空間で動作する明るさ志向と色志向の2つの分岐ネットワーク（CIDNet）を開発し、頑健性と画質を向上させる。
• 双方向 Lightweight Cross-Attentionモジュールを組み込んで2つの分岐間の相互作用を可能にしつつデノイジングを行う。

提案手法

• トレーニング可能なパラメータを持つHorizontal/Vertical-Intensity (HVI)カラースペースとsRGBからHVIへの可逆変換を導入。
• HVI変換後に一方の経路が明るさ（Intensity）、もう一方が色（HV）を処理する2経路ネットワーク（CIDNet）を設計。
• クロスブランチ相互作用とノイズ抑制を可能にする軽量クロスアテンション（LCA）モジュールを組み込む。
• クロスアテンションブロック、Intensity Enhance Layer (IEL)、Color Denoise Layer (CDL) を備えたTwo-way UNetアーキテクチャ（CID Two-way UNet）を使用。
• 学習を監督するために、sRGBとHVI空間の両方でL1、エッジ、知覚損失を組み合わせた損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 トレーニング可能なHVIカラースペースはsRGB/HSVベースのLLIE手法に共通する色/明るさのアーチファクトを緩和できるか。
• RQ2 2branch CIDNetは明るさと色を分離して変化する照明とノイズレベルの下でより良い復元を達成できるか。
• RQ3 軽量クロスアテンションモジュールは過度の計算を要せずに明るさと色のブランチ間の相互作用を改善できるか。
• RQ4 HVIとsRGB空間のジョイント損失が最終的な知覚品質に与える影響は？
• RQ5 CIDNetはSOTA手法と比較して複数のLLIEデータセットでどう機能するか？

主な発見

• HVIを用いたCIDNetはLOLv1/v2データセットでFLOPs約7.57 GFLOPsを維持しつつ、SSIMとLPIPSで優れた性能を達成。
• CIDNetは複数の難しいデータセット（SICE、SID）でSOTAを達成し、SID-Total-DarkではPSNR/SSIM/LPIPSでLEDNetを顕著に上回る。
• アブレーション研究はLLIEにおいてHVI空間がsRGB/HSVより優れており、クロスアテンションを備えたTwo-way UNetがさらにPSNRを向上させることを示す。
• 提案されたLCAモジュールは自己注意バリアントよりも偏りのない、線形複雑度のブランチ間相互作用を提供し復元品質を改善する。
• 知覚損失を用いたHVIとsRGB空間の共同監視は、単一空間損失と比べてLPIPSと知覚品質を大幅に改善する。