[論文レビュー] Color-wise Attention Network for Low-light Image Enhancement

Yousef Atoum, Mao Ye+3 more|arXiv (Cornell University)|Nov 20, 2019

Image Enhancement Techniques参考文献 42被引用数 7

ひとこと要約

本稿では、CIE LAB色空間を用いて画像を明度と色成分に分解し、それぞれを2つの畳み込みニューラルネットワーク（CNN）で別々に強化する、カラーワイズアテンションネットワーク（CWAN）を提案する。CWAN Lは明度とノイズ低減を、CWAN ABは色周波数に基づくアテンション機構を用いて、重要な前面色を保持・強化する。本手法は定量的指標およびユーザースタディーの両面で最先端の性能を達成し、色の正確性と明度順序の保持を改善した、鮮やかで自然な結果を生成する。

ABSTRACT

Absence of nearby light sources while capturing an image will degrade the visibility and quality of the captured image, making computer vision tasks difficult. In this paper, a color-wise attention network (CWAN) is proposed for low-light image enhancement based on convolutional neural networks. Motivated by the human visual system when looking at dark images, CWAN learns an end-to-end mapping between low-light and enhanced images while searching for any useful color cues in the low-light image to aid in the color enhancement process. Once these regions are identified, CWAN attention will be mainly focused to synthesize these local regions, as well as the global image. Both quantitative and qualitative experiments on challenging datasets demonstrate the advantages of our method in comparison with state-of-the-art methods.

研究の動機と目的

• 視認性、コントラスト、色の正確性が著しく低下する低照度画像強調の課題に対処すること。
• 人間の視覚的注意を模倣して、重要な色領域に注目することで、低照度画像における色の回復を改善すること。
• 明度と色の強調を独立したタスクに分解することで、LLIE問題を単純化すること。
• 色周波数マップを用いて主要な色特徴に注目する教師ありアテンション機構を開発すること。
• 実際の低照度データセットおよび合成された低照度データセットの両方で、最先端の性能を達成すること。

提案手法

• 本手法は、CIE LAB色空間を用いて低照度画像を明度（L）成分と色（AB）成分に分解する。
• CWAN Lはメモリネットワーク構造を用いて明度成分を強化し、明るさの向上とノイズ低減を図る。
• CWAN ABは色周波数マップを用いて、人間の視覚認識に基づき中程度の周波数を持つ前面色（主な色領域）を特定・優先する。
• CWAN ABのアテンション機構は、選択された色周波数を用いて教師ありに設計され、関心領域の強調をガイドする。
• ネットワークはRGBデータ上でL1損失を用いてエンドツーエンドに訓練され、明度と色成分それぞれに別々の最適化が行われる。
• 色の豊かさと明度順序保持（LOE）が、色の質と構造的忠実性を評価する追加指標として用いられる。

実験結果

リサーチクエスチョン

• RQ1 色周波数に基づくアテンション機構は、低照度画像における自然な色の回復を改善できるか？
• RQ2 明度と色の強調を分離することで、統合的な強調よりも優れた性能が得られるか？
• RQ3 空間的または特徴マップにのみ依存するアテンション機構と比較して、主要な色特徴にガイドされた教師ありアテンション機構は優れているか？
• RQ4 本手法は、明度順序保持と色の豊かさの両面で、最先端の手法と比較して優れた性能を示すか？
• RQ5 人間の視覚系が前面色に注目する傾向と、強調結果の向上の相関関係はどの程度強いのか？

主な発見

• SID Sonyデータセットでは、CWANがPSNR 28.56、SSIM 0.909を達成し、すべてのベースラインを上回った。
• HDRDBデータセットでは、CWANが平均順位2.32（標準偏差1.73）を記録し、強い一貫性と視覚的好みを示した。
• CWANは全手法の中で最低のLOE値（30.53）を達成し、強調画像における明度順序の保持が優れていることを示した。
• CWANはHDRDBで色の豊かさ指標40.38を記録し、鮮やかで自然な色の回復効果が確認された。
• 定性的な結果から、CWANはLightenNet やSIDと比較して、過剰強調やグレー色のアーチファクトを避けながら、微細な色のディテールをよりよく回復している。
• PASCAL 1000ではSSIMで2番目に高く、他のすべての指標で最良の結果を達成しており、多様なデータセットにわたる高いロバスト性が裏付けられた。