[論文レビュー] Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement

Yuanhao Cai, Hao Bian+4 more|arXiv (Cornell University)|Mar 12, 2023

Image Enhancement Techniques被引用数 19

ひとこと要約

Illumination-Guided Transformer（IGT）を備えたワンステージのRetinexベースのフレームワーク（ORF）を提案し、低照度画像を改善。13のベンチマークで最新性能を達成し、低照度物体検出を向上。

ABSTRACT

When enhancing low-light images, many deep learning algorithms are based on the Retinex theory. However, the Retinex model does not consider the corruptions hidden in the dark or introduced by the light-up process. Besides, these methods usually require a tedious multi-stage training pipeline and rely on convolutional neural networks, showing limitations in capturing long-range dependencies. In this paper, we formulate a simple yet principled One-stage Retinex-based Framework (ORF). ORF first estimates the illumination information to light up the low-light image and then restores the corruption to produce the enhanced image. We design an Illumination-Guided Transformer (IGT) that utilizes illumination representations to direct the modeling of non-local interactions of regions with different lighting conditions. By plugging IGT into ORF, we obtain our algorithm, Retinexformer. Comprehensive quantitative and qualitative experiments demonstrate that our Retinexformer significantly outperforms state-of-the-art methods on thirteen benchmarks. The user study and application on low-light object detection also reveal the latent practical values of our method. Code, models, and results are available at https://github.com/caiyuanhao1998/Retinexformer

研究の動機と目的

• 照明を考慮したモデリングをTransformerベースの破損復元器と統合することで、低照度画像の改善を動機づける。
• 照明を同時に推定し、1つのステージで破損を復元するORFを提案する。
• 照明情報を活用して長距離自己注意を導くIG-MSAを設計する。
• IGTをORFに組み込み、Retinexformerを形成し、データセット全体で優れた性能を実証する。
• ユーザースタディと低照度物体検出の向上を通じて実用的な利点を示す。

提案手法

• 画像を明るくし、その後破損を復元する1つのエンドツーエンド学習可能なパイプラインとして、ワンステージRetinexベースのフレームワーク（ORF）を定式化する。
• Iから照明推定器Eを導入し、点灯画像I_luと点灯特徴F_luを出力し、照明事前情報L_pを用いる。
• 3チャネルRGB点灯マップL_barを用いて点灯を実行し、RGBチャネル間の非線形性を頑健にモデル化する。
• ノイズ修復器としてIllumination-Guided Transformer (IGT)を開発し、スキップ接続を伴う3スケールのU字型アーキテクチャで動作する。
• IG-MSAでは、点灯特徴F_luでマルチヘッド自己注意をガイドし、異なる照明条件の領域間の相互作用を向上させる。
• IG-MSAが空間サイズに対して線形にスケールすることを示す複雑さ分析を提供し、複数のスケールでの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチステージの訓練を要せず、点灯中にワンステージのRetinexベースのフレームワークが破損を効果的にモデル化・復元できるか？
• RQ2 照明案内トランスフォーマー（IGT）は、露出が異なる領域間の長距離依存をモデル化する能力を向上させるか？
• RQ3 低照度強化や物体検出などの下流タスクにおいて、点灯マップと照明案内注意を使用する利点は何か？

主な発見

• Retinexformerは、13のデータセットで最先端のRetinexベース手法を著しく上回る。
• SNR-Netと比較して、複数のベンチマークでPSNR/SSIMを最大1.57 dBおよびSSIMを0.059改善し、計算コストを低く抑える。
• SIDおよびSDSDデータセットでは、いくつかのベースラインと比べPSNRが6 dB超える改善を達成。
• 提案されたIG-MSAは、グローバル自己注意と比較して複雑さを低減しつつ有利な結果を達成し、ネットワーク内での密な適用を可能にする。
• ユーザースタディは、複数データセット全体でRetinexformerの視覚品質が高いと示し、物体検出実験（ExDark）では平均精度が向上。
• アブレーション研究は、ORFとIG-MSAの両方が性能向上に寄与し、組み合わせると加法的な改善が得られることを確認。