[論文レビュー] Underwater Image Enhancement by Transformer-based Diffusion Model with Non-uniform Sampling for Skip Strategy

Yi Tang, Takafumi Iwaguchi+1 more|arXiv (Cornell University)|Sep 7, 2023

Image Enhancement Techniques被引用数 9

ひとこと要約

この論文は、軽量トランスフォーマー型デノイジングネットワークと非均一スキップサンプリングを用いた条件拡散モデルを提案し、効率と品質を向上させながら水中画像の Enhancement を行う。

ABSTRACT

In this paper, we present an approach to image enhancement with diffusion model in underwater scenes. Our method adapts conditional denoising diffusion probabilistic models to generate the corresponding enhanced images by using the underwater images and the Gaussian noise as the inputs. Additionally, in order to improve the efficiency of the reverse process in the diffusion model, we adopt two different ways. We firstly propose a lightweight transformer-based denoising network, which can effectively promote the time of network forward per iteration. On the other hand, we introduce a skip sampling strategy to reduce the number of iterations. Besides, based on the skip sampling strategy, we propose two different non-uniform sampling methods for the sequence of the time step, namely piecewise sampling and searching with the evolutionary algorithm. Both of them are effective and can further improve performance by using the same steps against the previous uniform sampling. In the end, we conduct a relative evaluation of the widely used underwater enhancement datasets between the recent state-of-the-art methods and the proposed approach. The experimental results prove that our approach can achieve both competitive performance and high efficiency. Our code is available at \href{mailto:https://github.com/piggy2009/DM_underwater}{\color{blue}{https://github.com/piggy2009/DM\_underwater}}.

研究の動機と目的

• 安定で高品質な出力を伴う堅牢な水中画像強調（UIE）を動機付ける。
• 水中画像を条件として強調を導く条件付き拡散フレームワークを開発する。
• 各反復コストを削減する軽量トランスフォーマー型デノイジングネットワークを設計する。
• 品質を損なうことなく推論を加速する非均一な時刻ステップサンプリングを導入する。

提案手法

• ノイズ画像と低品質の水中入力を条件 c として受け取り、時間ステップ t を用いる条件付きデノイジング拡散確率モデルを採用する。
• チャネルごと注意機構を持つ軽量トランスフォーマー型デノイジングネットワークを用いてノイズ ε_theta を予測する。
• DDPM のように条件付き平均 μ_theta を組み込み、条件付きで x0 を生成する反復的逆拡散を実現する。
• DDIM に着想を得た非マルコフ過程でのスキップサンプリングを実装し、反復回数を削減する。
• 二つの非均一サンプリング戦略を提案する：区分サンプリング（時刻範囲に対して二つのストライド）と、サンプリング列を最適化する進化アルゴリズム。
• UIEBおよび LSUI データセット上で PSNR および SSIM 指標を用いて訓練・評価を行う。

実験結果

リサーチクエスチョン

• RQ1 条件付き拡散モデルは、低品質入力画像に guided された高品質な水中画像強調を実現できるか？
• RQ2 軽量トランスフォーマー型デノイザーは強調品質を犠牲にすることなく効率を改善できるか？
• RQ3 非均一サンプリング戦略（区分サンプリングと進化的サンプリング）は、均一サンプリングと比べて推論速度および復元性能を改善するか？
• RQ4 提案手法は標準データセット上で PSNR および SSIM の観点で最先端の UIE 手法とどう比較されるか？

主な発見

• 提案手法は LSUI で最高 PSNR を達成し、LSUI および UIEB で競争力のある SSIM を示し、8つの最先端手法と比較して優れる。
• トランスフォーマー型デノイジングネットワークは、同等または小さなパラメータ数と同一の反復実行時間で UNet ベースラインを上回る。
• スキップサンプリングは推論を大幅に高速化し、提案する非均一サンプリング戦略は均一サンプリングよりも性能をさらに改善する。
• LSUI では本手法は PSNR 27.65、SSIM 0.8867、10 回の反復で達成、UIEB では PSNR 28.20、SSIM 0.9429 を達成。
• 本手法は特に難解な水中シーンにおける色収差を低減する視覚的カラー訂正・復元性能が競合的である。
• 実行時間は RTX 3080 上でおおよそ 0.13s/画像程度であり、性能と効率の両立を図る。