[論文レビュー] Half Wavelet Attention on M-Net+ for Low-Light Image Enhancement

Chi-Mao Fan, Tsung-Jung Liu+1 more|arXiv (Cornell University)|Mar 2, 2022

Image Enhancement Techniques被引用数 6

ひとこと要約

本稿では、改良された階層的アーキテクチャ、M-Net+に、ウェーブレットドメインからの補完的特徴を捉えるために半波長アテンションブロック（HWAB）を統合した、新しい低照度画像増強ネットワークHWMNetを提案する。本手法は、LOLおよびMIT-Adobe FiveKデータセットにおいて、最先端の性能を達成するとともに、先行モデルよりも低いFLOPsを実現し、精度と効率の優れたトレードオフを示している。

ABSTRACT

Low-Light Image Enhancement is a computer vision task which intensifies the dark images to appropriate brightness. It can also be seen as an ill-posed problem in image restoration domain. With the success of deep neural networks, the convolutional neural networks surpass the traditional algorithm-based methods and become the mainstream in the computer vision area. To advance the performance of enhancement algorithms, we propose an image enhancement network (HWMNet) based on an improved hierarchical model: M-Net+. Specifically, we use a half wavelet attention block on M-Net+ to enrich the features from wavelet domain. Furthermore, our HWMNet has competitive performance results on two image enhancement datasets in terms of quantitative metrics and visual quality. The source code and pretrained model are available at https://github.com/FanChiMao/HWMNet.

研究の動機と目的

• 従来の階層的ネットワークが、プーリングベースのダウンサンプリングに起因する空間情報の損失を抱える問題を解決すること。
• 新しいアテンションメカニズムを用いてウェーブレットドメインの情報をネットワークに統合することで、特徴表現を向上させること。
• 既存のSOTAモデルと比較して、品質を維持または向上させながら、計算複雑性を低減すること。
• 選択的キーネル統合を用いて、マルチスケール特徴を効果的に統合する、軽量かつ強力なアーキテクチャを開発すること。

提案手法

• M-Netに基づく改良された階層的アーキテクチャ、M-Net+を提案。最大プーリングを学習可能なダウンサンプリング（ピクセルアンスラッシュ）に置き換えることで、空間的詳細の保持を図る。
• 2次元離散ウェーブレット変換を入力特徴に適用し、ウェーブレットサブバンド（LL、LH、HL、HH）に学習可能なアテンションを適用し、強化された特徴に再構成する、半波長アテンションブロック（HWAB）を導入。
• 連結ではなく、動的特徴統合効率を向上させるために、選択的キーネル特徴統合（SKFF）を用いてマルチスケール特徴を統合。
• 再構成忠実度を最適化するため、エンド・ツー・エンド学習を採用。Charbonnier損失関数を用い、$\mathcal{L}_{char} = \sqrt{||\hat{X}-X||^{2} + \varepsilon^{2}}$、$\varepsilon = 10^{-3}$。
• トレントパスで重み共有3×3畳み込みとバイリニアダウンサンプリングを適用し、スケール間での特徴の一貫性を維持。
• エンコーダーおよびデコーダー経路にゲート付きスキップ接続機構を導入し、勾配の流れと特徴伝搬を向上。

実験結果

リサーチクエスチョン

• RQ1 M-Net+という改良された階層的ネットワークアーキテクチャは、標準M-Netと比較して、低照度画像増強における空間情報損失を低減できるか？
• RQ2 専用のアテンションメカニズム（HWAB）を用いてウェーブレットドメインの特徴を統合することで、特徴の多様性と増強品質が向上するか？
• RQ3 提案された半波長アテンション機構は、既存のSOTAモデルと比較して、計算コストを低減しつつ、性能を維持または向上させられるか？
• RQ4 ウェーブレットアテンションと選択的キーネル統合の組み合わせは、モデルの微細なディテール再構成能力および色再現性の保持にどのように寄与するか？

主な発見

• LOLデータセットでは、PSNRが24.24、SSIMが0.85、LPIPSが0.12を達成し、すべての指標で2位の成績を収めた。
• MIT-Adobe FiveKデータセットでは、PSNRが24.44、SSIMが0.914を達成し、MIRNet や DeepUPE といった比較手法をすべて上回った。
• 400×592の画像に対して、HWMNetのFLOPsは0.92Tであり、MIRNet（2.84T）やLLFlow（1.05T）と比較して顕著に低く、優れた計算効率を示した。
• 両データセットにおける可視化比較では、HWMNetが他の手法と比較して、より自然な色再現と、テクスチャおよびディテールのより良い保持を実現した。
• アブレーションスタディの結果、M-Net+アーキテクチャおよびHWABブロックの両方が、性能向上に顕著な寄与をしていることが確認され、ウェーブレットアテンションが特徴の豊かさを向上させた。
• MIT-Adobe FiveKデータセットにおける屋内および屋外の両方のシーンで一貫した性能を示しており、多様な現実世界の低照度環境においても、良好な一般化性能を有していることが裏付けられた。