[論文レビュー] Iterative Prompt Learning for Unsupervised Backlit Image Enhancement

Zhexin Liang, Chongyi Li+3 more|arXiv (Cornell University)|Mar 30, 2023

Image Enhancement Techniques被引用数 5

ひとこと要約

本稿では、対応データを一切用いずに、反復的プロンプト学習を介して対照的言語・画像事前学習（CLIP）を活用する、新しい非教師付きバックライト画像強調手法CLIP-LITを提案する。CLIPの潜在空間において、学習可能なプロンプトと強調ネットワークを同時に最適化することで、多様なバックライトシーンにおいて最先端の視覚的品質と一般化性能を達成し、既存の非教師付きおよび教師付き手法を上回る。

ABSTRACT

We propose a novel unsupervised backlit image enhancement method, abbreviated as CLIP-LIT, by exploring the potential of Contrastive Language-Image Pre-Training (CLIP) for pixel-level image enhancement. We show that the open-world CLIP prior not only aids in distinguishing between backlit and well-lit images, but also in perceiving heterogeneous regions with different luminance, facilitating the optimization of the enhancement network. Unlike high-level and image manipulation tasks, directly applying CLIP to enhancement tasks is non-trivial, owing to the difficulty in finding accurate prompts. To solve this issue, we devise a prompt learning framework that first learns an initial prompt pair by constraining the text-image similarity between the prompt (negative/positive sample) and the corresponding image (backlit image/well-lit image) in the CLIP latent space. Then, we train the enhancement network based on the text-image similarity between the enhanced result and the initial prompt pair. To further improve the accuracy of the initial prompt pair, we iteratively fine-tune the prompt learning framework to reduce the distribution gaps between the backlit images, enhanced results, and well-lit images via rank learning, boosting the enhancement performance. Our method alternates between updating the prompt learning framework and enhancement network until visually pleasing results are achieved. Extensive experiments demonstrate that our method outperforms state-of-the-art methods in terms of visual quality and generalization ability, without requiring any paired data.

研究の動機と目的

• 対応データが存在しない非教師付きバックライト画像強調の課題に対処すること。これにより、一般化性能が制限され、過剰または不十分な強調が生じる。
• 複雑な照明条件下でCLIPベースの画像強調に適切な固定プロンプトを見つける困難さを克服すること。
• 動的でデータ駆動のプロンプトを学習することで、CLIPのテキスト・画像埋め込みとピクセルレベルの強調の整合性を向上させること。
• ランク学習を用いてプロンプトと強調ネットワークを反復的に最適化することで、バックライト画像、強調結果、明るい画像の間の分布ギャップを低減し、耐性と視覚的品質を向上させること。
• CLIPの視覚的・言語的事前知識が、分類や生成を超えた低レベル画像修復タスクにも効果的に適応可能であることを示すこと。

提案手法

• 本手法は、バックライト画像とネガティブプロンプトのCLIP埋め込み距離を最小化し、明るい画像とポジティブプロンプトの距離を最小化することで、初期プロンプトを設定する。
• 強調ネットワークは、CLIP-Enhance損失を用いて訓練され、強調画像とポジティブプロンプトの類似度を最大化すると同時に、ネガティブプロンプトとの類似度を最小化する。
• 反復的リファインメントループでは、バックライト画像、強調結果、明るい画像の間の分布ギャップを低減するため、ランクベースの損失関数を用いてプロンプト埋め込みのファインチューニングと強調ネットワークの更新を交互に実行する。
• プロンプト学習フレームワークはランク学習を経由して更新され、強調結果がネガティブプロンプトや明るい画像よりもポジティブプロンプトに類似するように保証される。
• 視覚的に魅力的な結果が得られるまで、プロンプトのリファインメントと強調ネットワークの訓練を交互に繰り返す。教師付きデータは一切不要である。
• 本手法は、敵対的訓練に代わる解釈性が高く明るさに敏感な損失関数として、CLIP埋め込み空間における対照的学習の目的関数を用いて強調をガイドする。

Figure 2: Motivation. CLIP scores of proper prompts demonstrate alignment with human annotations ( e.g . , well-lit images), suggesting that CLIP can serve as an indicator to differentiate between well-lit and backlit images. However, the best wordings could differ on a case-by-case basis due to com

実験結果

リサーチクエスチョン

• RQ1 CLIPの視覚的・言語的事前知識は、特にバックライト画像に対して、非教師付きピクセルレベルの画像強調に効果的に活用可能か？
• RQ2 複雑な照明状況下で、固定テキストプロンプトと比較して、学習可能なプロンプトはCLIPベースの画像分類の耐性と正確性をどのように向上させるか？
• RQ3 反復的プロンプトリファインメントは、固定プロンプトや敵対的訓練手法に比べ、バックライト画像強調の一般化性能と視覚的品質をどのように向上させるか？
• RQ4 基準となる明るい画像の選択が、強調ネットワークの性能にどの程度影響を与えるか？
• RQ5 CLIPベースの損失は、低レベル画像修復タスクにおいて敵対的損失を上回る性能を示せるか？

主な発見

• 提案手法は、BAIDテストセットにおいてPSNR 21.579、SSIM 0.883を達成し、最先端手法を著しく上回った。
• 固定プロンプト（バックライト／明るい画像）を用いた場合と比較して、学習可能なプロンプトを用いることで、PSNRが6.831ポイント、SSIMが0.060ポイント向上した。
• ランク学習損失（式7および式8）を除去すると、PSNRは20.884、SSIMは0.865に低下し、これらの損失が性能に果たす重要な役割を示した。
• MUSIQスコアは55.682を記録し、優れた知覚的品質を示した。敵対的損失ベースの学習（MUSIQ: 52.416）を上回った。
• ユーザースタディーでは、60％以上の参加者が本手法の結果をすべてのベースラインより好むと回答し、優れた視覚的品質を確認した。
• 本手法は、顔、風景、動物、建築、夜景など多様なシーンにわたり、シーン固有のチューニングを必要とせず、良好な一般化性能を示した。

Figure 3: Visual comparison between our method and the state-of-the-art light enhancement methods, including exposure correction method (Afifi et al. [ 1 ] ), backlit enhancement method (ExCNet [ 32 ] ), low-light image enhancement methods (SCI [ 21 ] , Zero-DCE [ 9 ] , SNR-aware [ 29 ] , EnlightenG