[論文レビュー] End-to-End Denoising of Dark Burst Images Using Recurrent Fully Convolutional Networks

Di Zhao, Lan Ma+2 more|arXiv (Cornell University)|Apr 16, 2019

Image and Signal Denoising Methods参考文献 19被引用数 8

ひとこと要約

本稿では、極めて暗い照明条件下で撮影された生のバースト画像を、エンド・ツー・エンドでノイズ除去し、sRGB出力に直接変換する再帰的完全畳み込みネットワーク（RFCN）を提案する。モデルはフレーム間の時間的整合性を活用することで、最新の手法を上回る性能を達成し、微調整なしにクロスカメラへの一般化性能を示している。

ABSTRACT

When taking photos in dim-light environments, due to the small amount of light entering, the shot images are usually extremely dark, with a great deal of noise, and the color cannot reflect real-world color. Under this condition, the traditional methods used for single image denoising have always failed to be effective. One common idea is to take multiple frames of the same scene to enhance the signal-to-noise ratio. This paper proposes a recurrent fully convolutional network (RFCN) to process burst photos taken under extremely low-light conditions, and to obtain denoised images with improved brightness. Our model maps raw burst images directly to sRGB outputs, either to produce a best image or to generate a multi-frame denoised image sequence. This process has proven to be capable of accomplishing the low-level task of denoising, as well as the high-level task of color correction and enhancement, all of which is end-to-end processing through our network. Our method has achieved better results than state-of-the-art methods. In addition, we have applied the model trained by one type of camera without fine-tuning on photos captured by different cameras and have obtained similar end-to-end enhancements.

研究の動機と目的

• 単一フレーム手法が信号対雑音比が低いために失敗するような、極めて暗い照明条件下でのバースト画像のノイズ除去の課題に対処すること。
• 事前処理段階で情報損失を引き起こす、従来の単一画像ノイズ除去パイプラインの限界を克服すること。
• 生のバースト入力を高品質なsRGB出力に直接マッピングするエンド・ツー・エンドのフレームワークを開発し、ノイズ除去、明るさの強化、色補正を統合的に実行すること。
• 1台のカメラのデータで学習したモデルを、他のカメラに微調整なしに直接適用することで、クロスプラットフォームへの移植性を実現すること。
• 単一の最良の画像またはノイズ除去済みフレームのシーケンスを生成できる柔軟な出力機能を提供し、将来的な動画ノイズ除去への拡張を可能にすること。

提案手法

• 再帰的接続を用いて時間的に特徴を蓄積・精錬する再帰的完全畳み込みネットワーク（RFCN）を設計し、フレーム単位で生のバースト画像を処理する。
• 残差スキップ接続を備えたU-Net風のエンコーダ・デコーダアーキテクチャを統合し、空間的詳細の保持と特徴学習の向上を図る。
• デモザイキングを経由せず、生のベイラー形式入力を直接処理することで、センサー全体のデータを保持し、従来のパイプラインによる情報損失を回避する。
• ピxlsレベルの再構成（例：L1またはL2損失）と知覚的品質の両方を最適化する損失関数を用いたエンド・ツー・エンドの学習を実施する。
• カメラ固有のブラックレベルを用いた正規化と、ベイラー形式の再編成により、異なるセンサータイプ間での互換性を確保する。
• 再帰的ゲーティング機構を通じて、各フレームの特徴表現が直前のフレームに影響を受けるようにすることで、時間的整合性を活用する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのディープラーニングモデルは、単一フレーム手法が失敗するような極めて暗い照明条件下（例：3ルクス未満）で撮影された生のバースト画像に対して、効果的にノイズ除去と強化が可能か？
• RQ2 時間的整合性を活用することで、非再帰的または単一フレームベースラインと比較して、再帰的完全畳み込みネットワークアーキテクチャがノイズ除去性能を向上させるか？
• RQ3 1台のカメラの生バーストデータで学習したモデルが、微調整なしに他のカメラに一般化できる程度はどの程度か、すなわちクロスプラットフォームへの移植性は？
• RQ4 同じフレームワークが、単一の強化済み画像とノイズ除去済みフレームのシーケンスの両方を生成でき、将来的な動画ノイズ除去への拡張が可能か？
• RQ5 デモザイキングまたは事前処理済み画像ではなく、生データを直接処理することで、より優れた知覚的および定量的結果が得られるか？

主な発見

• 提案されたRFCNは、SIDデータセットにおいて平均PSNR 30.75、SSIM 0.822を達成し、ベースライン平均の30.06 PSNRおよび0.808 SSIMを上回った。
• ベースライン比でPSNRは0.69 dB向上し、SSIMは0.014上昇し、再構成精度と構造的類似性の両面で顕著な向上が確認された。
• 10フレームのシーケンスにわたり、PSNRおよびSSIMの値が段階的に向上した。これは、再帰的処理により、各フレームが順次品質向上を遂げていることを示している。
• 微調整なしに、他のカメラの生バースト画像に対しても、視覚的に一貫性があり高品質な結果を生成でき、一般化性能が成功した。
• 視覚的比較では、RFCNが平均ベースラインと比較して、文字、葉のテクスチャ、構造の輪郭などの微細なディテールをより効果的に保持していた。
• 屋内での暗闇（約0.1ルクス）や月明かり下（約0.6ルクス）の多様な低照度シーンにおいても、モデルは性能を維持し、極度の照度条件下でも頑健であることが確認された。