[論文レビュー] Enlighten Anything: When Segment Anything Model Meets Low-Light Image Enhancement

Qihan Zhao, Xiaofeng Zhang+3 more|arXiv (Cornell University)|Jun 17, 2023

Image Enhancement Techniques被引用数 10

ひとこと要約

Enlighten-anything は SAM のセグメンテーションを低照度画像と統合・強化することで、自動復元を改善し、LOLデータセットで3dB PSNRおよび8 SSIMの改善を達成します。

ABSTRACT

Image restoration is a low-level visual task, and most CNN methods are designed as black boxes, lacking transparency and intrinsic aesthetics. Many unsupervised approaches ignore the degradation of visible information in low-light scenes, which will seriously affect the aggregation of complementary information and also make the fusion algorithm unable to produce satisfactory fusion results under extreme conditions. In this paper, we propose Enlighten-anything, which is able to enhance and fuse the semantic intent of SAM segmentation with low-light images to obtain fused images with good visual perception. The generalization ability of unsupervised learning is greatly improved, and experiments on LOL dataset are conducted to show that our method improves 3db in PSNR over baseline and 8 in SSIM. Zero-shot learning of SAM introduces a powerful aid for unsupervised low-light enhancement. The source code of Enlighten Anything can be obtained from https://github.com/zhangbaijin/enlighten-anything

研究の動機と目的

• 従来のCNNのブラックボックス手法を超え、低照度シーンにおいて透明性が高く知覚的に心地よい復元を促進する。
• ゼロショット SAM セグメンテーションを活用して、意味的意図を劣化した画像と融合する。
• 意味的ガイダンスを組み込むことで、教師なしの低照度強化の一般化を向上させる。
• 視覚的および定量的な利得を示すために、LOLデータセット上で性能を評価する。

提案手法

• Segment Anything Model (SAM) のセグメンテーションを低照度強化パイプラインと統合し、セマンティックにガイドされた復元を生成する。
• 強化中に意味的手がかりを提供する補助的な手段としてゼロショット SAM を使用する。
• 強化された内容とセグメンテーションガイダンスを融合させ、難しい照明条件で視覚知覚が向上した画像を生み出す。
• PSNRとSSIMの改善を定量化するためにLO Lデータセットで実験を行う。

実験結果

リサーチクエスチョン

• RQ1 SAM をどのように活用して教師なし低照度画像強化を導くことができるか。
• RQ2 意味的ガイダンスによる融合が、極端に暗いシーンにおける知覚品質と標準指標（PSNR、SSIM）に与える影響は。
• RQ3 ゼロショット SAM は教師あり設定を超えた低照度復元手法の一般化を改善するか。
• RQ4 提案手法はベースラインと比較して LOL データセット上でどの程度の定量的利得を達成するか。

主な発見

• LOLデータセット上でベースラインに対して3 dBのPSNR改善を達成。
• LOLデータセット上で8（おそらくSSIM）改善を達成。
• ゼロショット SAM は教師なし低照度強化に対して有力な支援を提供する。
• 意味的ガイダンスを組み込むことで教師なし学習の一般化が大きく向上する。
• 融合された意味情報を持つ復元の知覚的改善を示す。