[論文レビュー] Simplifying Low-Light Image Enhancement Networks with Relative Loss Functions

Yu Zhang, Xiaoguang Di+7 more|arXiv (Cornell University)|Apr 6, 2023

Image Enhancement Techniques被引用数 6

ひとこと要約

本稿では、相対的特徴学習に基づく二つの相対的損失関数—L_brightness および L_structure—を活用することで、モデルアーキテクチャを簡素化した軽量な低照度画像増強ネットワークであるFLW-Netを提案する。絶対的参照監視の代わりに相対的比較を用いることで、1対多問題を軽減し、大幅に少ないパラメータ数と高速な推論を実現しながら、SOTAの性能を達成し、ベンチマークデータセットで最大95%のパラメータ削減を実現した。

ABSTRACT

Image enhancement is a common technique used to mitigate issues such as severe noise, low brightness, low contrast, and color deviation in low-light images. However, providing an optimal high-light image as a reference for low-light image enhancement tasks is impossible, which makes the learning process more difficult than other image processing tasks. As a result, although several low-light image enhancement methods have been proposed, most of them are either too complex or insufficient in addressing all the issues in low-light images. In this paper, to make the learning easier in low-light image enhancement, we introduce FLW-Net (Fast and LightWeight Network) and two relative loss functions. Specifically, we first recognize the challenges of the need for a large receptive field to obtain global contrast and the lack of an absolute reference, which limits the simplification of network structures in this task. Then, we propose an efficient global feature information extraction component and two loss functions based on relative information to overcome these challenges. Finally, we conducted comparative experiments to demonstrate the effectiveness of the proposed method, and the results confirm that the proposed method can significantly reduce the complexity of supervised low-light image enhancement networks while improving processing effect. The code is available at \url{https://github.com/hitzhangyu/FLW-Net}.

研究の動機と目的

• 軽量で高性能な低照度画像増強ネットワークを設計する課題に対処すること。
• ピxls単位の監視に絶対的基準がないため、教師あり低照度増強における1対多問題を克服すること。
• 複雑なコンponentsを効率的なグローバル特徴抽出モジュールに置き換えることで、ネットワークアーキテクチャを簡素化すること。
• モデルの複雑さを増加させずに、コントラスト、色再現性、ノイズ低減の質を向上させること。
• パラメータ数を著しく削減することで、リアルタイム応用を可能にすること。

提案手法

• ヒストグラムに基づくグローバル情報と高次曲線補正を用いるグローバル特徴抽出（GFE）モジュールを備えた軽量ネットワークであるFLW-Netを提案する。
• 二つの相対的損失関数を導入する：L_brightness は画像のピクセルパッチ間の明るさレベルを比較し、グローバルコントラスト調整をガイドする。L_structure はパッチ間の構造的類似性を強制することで、詳細を保持する。
• L_brightness および L_structure は、強調画像と参照画像が相対的特徴で類似している場合に最適な性能を発揮するように設計されている。
• 相対的損失は絶対的真値への依存を軽減し、低照度増強における1対多問題を緩和する。
• GFEモジュールは最小限の計算コストでグローバルな文脈を効率的に捉えることができ、コンactなネットワーク構造を実現する。
• 本手法は、RetinexNet や KIND などの既存アーキテクチャとも互換性があり、それらの学習損失に組み込むことで性能向上が可能である。

Figure 1: Visual comparison with some SOTA methods. (a) The original input low-light image. (b) to (e) are enhanced images produced by Zero-DCE++ (C. Li \BOthers ., \APACyear 2021 ) , KIND++ (Y. Zhang, Guo \BCBL \BOthers ., \APACyear 2021 ) and the proposed method in this paper. (f) The reference im

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャと損失設計を簡素化することで、軽量ネットワークが低照度画像増強でSOTA性能を達成できるか？
• RQ2 相対的損失関数が、絶対的監視に代わって低照度増強において1対多問題を効果的に軽減できるか？
• RQ3 ヒストグラムベースの曲線補正によるグローバル特徴抽出が、軽量ネットワークにおける標準的なグローバルモデリングを上回る性能を発揮するか？
• RQ4 提案された損失関数が、モデルの複雑さを増加させずに色再現性、コントラスト、ノイズ低減を向上させられるか？
• RQ5 パラメータ数をどれだけ削減しても、増強品質を維持または向上させられるか？

主な発見

• FLW-Netは、0.43MパラメータでLOL-V1データセットでSOTA性能を達成し、元のKIND手法と比較して95%のパラメータ削減を実現した。
• KINDにおけるDecomNetと組み合わせた場合、提案された相対的損失によりPSNRが15.68から18.94に、SSIMが0.50から0.80に向上し、パラメータ数は95%削減された。
• 視覚的結果では、色再現性において参照画像に最も近い結果が得られ、Zero-DCE++ や KIND++ を上回った。
• RetinexNet に L_brightness と L_structure を組み合わせることで、詳細の保持とノイズ抑制が向上し、ズームイン比較で明確に示された。
• 重度のノイズや色ずれを伴う多様な低照度条件下でも、高い性能を維持した。
• 相対的損失により、正確なピxls単位の真値がなくても効果的な学習が可能となり、曖昧な監視に対してもよりロバストな手法となった。

Figure 2: The detailed structure of the proposed method.