[論文レビュー] Joint Enhancement and Denoising Method via Sequential Decomposition

Xutong Ren, Mading Li+2 more|arXiv (Cornell University)|Apr 23, 2018

Image Enhancement Techniques参考文献 7被引用数 8

ひとこと要約

本稿では、逐次Retinexベースの分解を用いた、低照度補正とノイズ低減の統合手法を提案する。まず照度を推定し、その後で重み付き勾配行列を用いたノイズ抑制を施した反射率の精緻化を行う。本手法は、後処理を要せず、ノイズを低減しつつ細部を保持した優れた画像品質を達成し、最先端手法を上回る性能を示す。

ABSTRACT

Many low-light enhancement methods ignore intensive noise in original images. As a result, they often simultaneously enhance the noise as well. Furthermore, extra denoising procedures adopted by most methods ruin the details. In this paper, we introduce a joint low-light enhancement and denoising strategy, aimed at obtaining well-enhanced low-light images while getting rid of the inherent noise issue simultaneously. The proposed method performs Retinex model based decomposition in a successive sequence, which sequentially estimates a piece-wise smoothed illumination and a noise-suppressed reflectance. After getting the illumination and reflectance map, we adjust the illumination layer and generate our enhancement result. In this noise-suppressed sequential decomposition process we enforce the spatial smoothness on each component and skillfully make use of weight matrices to suppress the noise and improve the contrast. Results of extensive experiments demonstrate the effectiveness and practicability of our method. It performs well for a wide variety of images, and achieves better or comparable quality compared with the state-of-the-art methods.

研究の動機と目的

• 低照度補正手法の限界、すなわち強調処理中にノイズが拡大されることを是正すること。
• 後処理によるノイズ低減の欠点、すなわち細部がぼやけることや高ノイズ画像では効果を発揮しないことの是正。
• 分解の過程で照度の強調とノイズ低減を同時に実行する統合フレームワークの構築。
• 照度と反射率の逐次的推定により、ノイズの伝搬を最小限に抑えることで、低照度画像の品質向上。
• 追加のノイズ低減手順を必要とせず、最先端手法を上回る視覚的結果を達成すること。

提案手法

• 逐次的分解を実行：まず、反射率とは独立して、区分的滑らかな照度マップを推定する。
• 精緻化された照度と元の画像を用いて、重み付き変分モデルにより反射率マップを精緻化し、適応的重み行列によるノイズ抑制を実現する。
• 対角重み行列を用いた全変動正則化により、照度と反射率の両方に空間的滑らかさを強制する。
• 勾配作用素を含む二次エネルギー関数の最小化から導かれる線形方程式系を解くことで、照度推定を実行する。
• 最終出力のための照度マップと反射率の合成前に、正規化された照度マップにガンマ補正を適用して明るさを調整する。
• RGB空間における反射率の強調とノイズ低減を実現するため、勾配行列$W$と$G$を活用する。

実験結果

リサーチクエスチョン

• RQ1 同時処理手法と比較して、照度と反射率の逐次的分解は、低照度補正におけるノイズ拡大をどれほど低減できるか？
• RQ2 本手法は、低照度条件下でノイズを効果的に低減しながら、細かな画像ディテールをどれほど保持できるか？
• RQ3 ノイズ低減を別途後処理として行う最先端手法と比較して、本手法の統合的強調・ノイズ低減フレームワークは、どれほど優れているか？
• RQ4 適応的重み行列の使用は、ノイズの多い低照度画像における反射率推定をどれほど向上させるか？
• RQ5 本手法は、BM3Dのような追加のノイズ低減手順を必要とせず、高品質な強調を達成できるか？

主な発見

• 本手法は、LIME、SRIE、NPEAなどの手法と比較して、後処理によるノイズ低減を施さなくても、顕著にノイズが低減された強調画像を生成する。
• 視覚的比較では、HE、SRIE、NPEAと比較して、芝生のテクスチャーや色再現性といった局所的ディテールをよりよく保持している。これら手法はしばしば過剰強調やぼやけた結果を生じる。
• LIMEと比較して、本手法は明るい領域での過剰強調が少なく、対比とディテールの整合性をより良く維持している。
• PIEや他の手法にBM3Dを適用する後処理パイプラインと比較して、本手法はノイズ低減効果が高く、後処理によるぼやけやディテール損失を回避している。
• 広範な実験により、本手法は最先端のアプローチと同等またはそれ以上の品質を達成しており、ノイズ低減を強調プロセスに直接統合している。
• 逐次的推定戦略により、よりクリアな照度マップとより正確な反射率が得られ、共同反復手法と比較してノイズの伝搬が低減されている。