[論文レビュー] Deep Richardson-Lucy Deconvolution for Low-Light Image Deblurring

Liang Chen, Jiawei Zhang+5 more|arXiv (Cornell University)|Aug 10, 2023

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本論文は、学習された潜在マップを用いて飽和ピクセルをモデル化するデータ駆動型ディープラーニング手法を提案し、事前推定ネットワーク（PEN）とリチャードソン＝ルシー（RL）に基づく最適化手法を統合する。この手法は、手動で設計されたクリッピング近似に依存せず、ぼかしと飽和の両方を効果的に処理することで、合成データおよび実世界データの両方で最先端の手法を上回る性能を発揮する。

ABSTRACT

Images taken under the low-light condition often contain blur and saturated pixels at the same time. Deblurring images with saturated pixels is quite challenging. Because of the limited dynamic range, the saturated pixels are usually clipped in the imaging process and thus cannot be modeled by the linear blur model. Previous methods use manually designed smooth functions to approximate the clipping procedure. Their deblurring processes often require empirically defined parameters, which may not be the optimal choices for different images. In this paper, we develop a data-driven approach to model the saturated pixels by a learned latent map. Based on the new model, the non-blind deblurring task can be formulated into a maximum a posterior (MAP) problem, which can be effectively solved by iteratively computing the latent map and the latent image. Specifically, the latent map is computed by learning from a map estimation network (MEN), and the latent image estimation process is implemented by a Richardson-Lucy (RL)-based updating scheme. To estimate high-quality deblurred images without amplified artifacts, we develop a prior estimation network (PEN) to obtain prior information, which is further integrated into the RL scheme. Experimental results demonstrate that the proposed method performs favorably against state-of-the-art algorithms both quantitatively and qualitatively on synthetic and real-world images.

研究の動機と目的

• 低照度画像にぼかしと飽和ピクセルが含まれる状況におけるぼかし除去の課題に対処すること。
• ピクセルクリッピングを近似するために手動で設計された滑らかな関数に依存する従来手法の限界を克服すること。
• 飽和ピクセルのデータ駆動型表現を学習することで、ぼかし除去における経験的チューニングが必要なパラメータを排除すること。
• 学習された事前推定ネットワーク（PEN）を通じて事前情報を統合することで、ぼかし除去の品質を向上させること。
• 非盲目的ぼかし除去タスクを、反復的な潜在マップと画像の更新により解ける最大後確率（MAP）問題として定式化すること。

提案手法

• 手動で設計されたクリッピングモデルに代わって、飽和ピクセルを表す潜在マップを予測するマップ推定ネットワーク（MEN）を訓練する。
• ポisson雑音およびぼかしのモデリングに適したリチャードソン＝ルシー（RL）に基づくスキームを用いて、潜在画像を反復的に更新する。
• ぼかし除去プロセスをガイドし、アーチファクトを低減するために、空間的事前情報を学習する事前推定ネットワーク（PEN）を導入する。
• 非盲目的ぼかし除去を、潜在画像と学習された潜在マップを同時に最適化するMAP問題として定式化する。
• 反復的最適化は、RLによる潜在画像の更新と、MENによる潜在マップの最適化を交互に実行する。PENが提供する事前情報により、安定性と品質が向上する。
• このフレームワークは合成低照度ぼかし除去データ上でエンドツーエンドに訓練され、実世界の画像への一般化が可能である。

実験結果

リサーチクエスチョン

• RQ1 手動で設計されたクリッピング関数に依存せずに、学習された潜在マップが低照度画像の飽和ピクセルを効果的にモデル化できるか？
• RQ2 PENによる学習済み事前情報の統合が、ぼかし除去の性能向上とアーチファクト低減にどのように寄与するか？
• RQ3 提案されたデータ駆動型RLベースのフレームワークが、合成および実世界の低照度ぼかし除去ベンチマークで既存手法を上回るか？
• RQ4 反復的な潜在マップと画像の更新を伴うMAP定式化は、従来の最適化戦略に比べ、よりロバストで正確なぼかし除去を実現するか？
• RQ5 本手法は、複雑なぼかしカーネルと多様な輝度パターンを示す実世界の低照度画像に対し、どの程度一般化可能か？

主な発見

• 提案手法は、PSNRおよびSSIMの指標で、合成および実世界の低照度画像ぼかし除去ベンチマークで最先端の性能を達成した。
• 特に高飽和領域において、ベースライン手法と比較して著しくアーチファクトとノイズ増幅が低減された。
• 事前推定ネットワーク（PEN）の統合により、より自然な見た目の復元結果が得られ、構造的保持性が向上した。
• モデルは実世界の画像へも良好に一般化し、複雑なぼかしカーネルや変動する照明条件に対してもロバストであることが示された。
• アブレーションスタディの結果、学習された潜在マップとPENコンponentsの両方が最適性能を発揮するために不可欠であることが確認された。
• 定量的指標および定性的な視覚的評価の両面で、本手法は既存の非盲目的ぼかし除去手法を上回った。