[論文レビュー] Burst Denoising with Kernel Prediction Networks

Ben Mildenhall, Jonathan T. Barron+4 more|arXiv (Cornell University)|Dec 6, 2017

Image and Signal Denoising Methods参考文献 23被引用数 30

ひとこと要約

本論文では、ハンドヘルドカメラから得られる複数のノイズの多い画像を、空間的に変化する3次元フィルタを予測することで、同時に補正・ノイズ除去するためのカーネル予測ネットワーク（KPN）を提案する。本手法は、物理的で現実的なノイズモデルに基づいて生成された合成データで訓練され、冷却損失関数を用いて最適化されており、特に高ノイズおよび高運動条件下でも、合成データおよび実世界データの両方で最先端技術を上回る性能を発揮する。また、入力としてノイズ推定値が与えられた場合、ノイズレベルの多様な状況に一般化可能である。

ABSTRACT

We present a technique for jointly denoising bursts of images taken from a handheld camera. In particular, we propose a convolutional neural network architecture for predicting spatially varying kernels that can both align and denoise frames, a synthetic data generation approach based on a realistic noise formation model, and an optimization guided by an annealed loss function to avoid undesirable local minima. Our model matches or outperforms the state-of-the-art across a wide range of noise levels on both real and synthetic data.

研究の動機と目的

• 低照度条件下でカメラや被写体の動きを伴うバースト画像のノイズ除去という課題に取り組むこと。単純な平均化ではずれのため失敗する。
• 単一のアーキテクチャで複数フレームの同時補正とノイズ除去を実現する深層学習モデルを開発すること。アーチファクトを回避し、微細なディテールを保持すること。
• ノイズレベル推定値を入力として組み込むことで、学習時とは異なる多様なノイズレベルに一般化できるようにすること。学習分布外の状況でも耐性を高める。
• インターネット上の後処理済み画像から、物理的画像形成に基づいて実際のセンサ出力に近いリアルなRAWバーストを合成するデータ生成パイプラインを構築すること。これにより、実際の真値データの必要性を回避する。

提案手法

• 本手法は、出力ピクセルごとに固有の3次元フィルタ（空間的および時間的）を予測するカーネル予測ネットワーク（KPN）を用いる。これにより、学習された空間的に変化する畳み込みによって、ノイズ除去と補正を同時に実現する。
• 合成データ生成パイプラインは、物理的画像形成に基づいてショットノイズとリードノイズをモデル化し、後処理済み画像を、既知のノイズパラメータを持つ現実的なRAWバーストに変換する。
• 訓練中に冷却損失関数を用いることで、特にフレーム間のずれや動きがある状況でも、安定した、アーチファクトの少ない解にネットワークを誘導する。
• ネットワークは、基準フレーム、他のフレーム、およびピクセルごとのノイズ推定値σ′を入力とし、期待されるノイズレベルに応じて異なるフレームからの寄与を適応的に重みづける。
• 予測されたフィルターカーネルの可視化が可能であり、各フレームが最終出力にどのように寄与しているかを明らかにするため、視覚的解釈性を備えている。

実験結果

リサーチクエスチョン

• RQ1 合成データで訓練された深層ニューラルネットワークは、ハンドヘルドカメラで撮影された実世界のバースト画像に、効果的に一般化できるか？
• RQ2 バーストノイズ除去において、直接ピクセル出力を生成するのと比較して、空間的に変化する3次元フィルタを予測することで、ノイズ除去性能が向上するか？
• RQ3 ノイズ推定値を入力として受け取るノイズ対応ネットワークは、ノイズに無知なノイズ除去ネットワークよりも、広範なノイズレベルにわたってより優れた一般化性能を示せるか？
• RQ4 ノイズレベルの入力が変化する際、ネットワークの挙動はどのように変化するか。特に、動きやずれの処理においてどうなるか？

主な発見

• 提案されたKPNモデルは、合成データおよび実世界のバースト画像の両方で、最先端の手法（HDR+、非局所平均、VBM4Dなど）を上回る性能を発揮する。特に低照度および高運動状況で顕著な優位性を示す。
• Nexus 6Pから得た実データにおいても、モデルは合成データでのみ学習されたにもかかわらず、影部分の微細なディテールを回復し、動きによるぼやけを回避する。
• ノイズレベル推定値が入力として与えられた場合、学習時とは異なるノイズレベルに効果的に一般化できる。4倍のノイズレベルでも、ログスケールの性能曲線で示されるように、高い性能を維持する。
• 入力ノイズ推定値によってネットワークの挙動を制御可能である。ノイズを低めに推定すると、基準フレームを優先する慎重なノイズ除去が行われる。逆にノイズを高めに推定すると、他のフレームへの依存度が上がり、出力が滑らかになる。
• 冷却損失関数の使用により、訓練の安定性が著しく向上し、特にフレーム間のわずかなずれがある状況でも、局所最適解への陥りを防ぐ。