[論文レビュー] Deep Convolutional Denoising of Low-Light Images

Tal Remez, Or Litany+2 more|arXiv (Cornell University)|Jan 6, 2017

Image and Signal Denoising Methods参考文献 8被引用数 37

ひとこと要約

本稿では、明るさが低い画像におけるポアソンノイズ除去のための深層畳み込み残差ニューラルネットワークである DenoiseNet を提案する。合成ノイズデータ上でエンド・ツー・エンドに訓練され、明示的なノイズモデリングを必要としない。複雑なノイズパターンを暗黙的に学習することで、先行手法を最大 0.6 dB の PSNR 向上、非畳み込み型の代替手法と比較して 10 倍の高速化を達成しており、顔や風景などの特定の画像クラスで訓練した場合にさらなる性能向上が得られる。

ABSTRACT

Poisson distribution is used for modeling noise in photon-limited imaging. While canonical examples include relatively exotic types of sensing like spectral imaging or astronomy, the problem is relevant to regular photography now more than ever due to the booming market for mobile cameras. Restricted form factor limits the amount of absorbed light, thus computational post-processing is called for. In this paper, we make use of the powerful framework of deep convolutional neural networks for Poisson denoising. We demonstrate how by training the same network with images having a specific peak value, our denoiser outperforms previous state-of-the-art by a large margin both visually and quantitatively. Being flexible and data-driven, our solution resolves the heavy ad hoc engineering used in previous methods and is an order of magnitude faster. We further show that by adding a reasonable prior on the class of the image being processed, another significant boost in performance is achieved.

研究の動機と目的

• センサーの制限により光子が不足する状況に起因する低照度モバイル写真におけるポアソンノイズに対処すること。
• 非局所的類似性やスパースコーディングといった仮定に依存する、手動で設計された従来のモデルベースのノイズ除去手法の代替として、高速でデータ駆動型の手法を開発すること。
• 画像のカテゴリーベースの事前知識を組み込むことで、カテゴリに依存しないネットワークを上回るノイズ除去性能が得られるかどうかを検討すること。
• 深層学習が明示的なノイズモデリングなしに、複雑なノイズ構造を暗黙的に学習できることを示すこと。

提案手法

• 特定のピーク強度値を持つ合成ポアソンノイズ画像上で、エンド・ツー・エンドに訓練された完全畳み込み残差ネットワーク（DenoiseNet）を採用する。
• スキップ接続と残差学習を用いることで、複数層にわたる特徴の学習を安定化させ、性能を向上させる。
• クラスに適応したノイズ除去のため、顔や花、街並みなどの特定の意味的カテゴリからの画像サブセットでネットワークをファインチューニングし、専用のノイズ推定を可能にする。
• 明示的なノイズモデリングなしに、ノイズ付き画像から綺麗な画像への非線形なマッピングを、深層畳み込みニューラルネットワークの内蔵表現力によって学習する。
• 分散安定化変換（VST）は使用せず、代わりにネットワークが生のポアソン分布に従うデータから直接ノイズ除去を学習する。
• GPU推論を最適化したアーキテクチャを採用することで、従来の非畳み込み型モデルベース手法と比較して、実時間性能が桁違いに高速化されている。

実験結果

リサーチクエスチョン

• RQ1 明示的なノイズモデリングなしに、深層畳み込みニューラルネットワークが従来のモデルベースのポアソンノイズ除去手法を上回ることができるか？
• RQ2 低照度画像のノイズ除去において、カテゴリに依存しないノイズ除去器とカテゴリ特化型のものとでは、性能にどのような差が生じるか？
• RQ3 ネットワークは層ごとに段階的にノイズを低減しており、多様な画像タイプにわたって一貫したプロセスを示しているか？
• RQ4 明示的にノイズ統計を学習させない状況でも、ネットワークがポアソンノイズの構造を暗黙的に学習できるか？

主な発見

• カテゴリに依存しない DenoiseNet は、複数のデータセットで I+VST+BM3D ベースラインを最大 0.6 dB の PSNR 向上で上回り、最先端の性能を達成した。
• 特定の画像カテゴリでファインチューニングした場合、PSNR にさらに 0.15 から 0.31 dB の向上が得られ、意味的事前知識の有効性が示された。
• 視覚的比較では、DenoiseNet は従来手法と比較して、特にテクスチャーやエッジ部でより自然な結果を生成し、アーチファクトが少ないことが確認された。
• 再構成誤差は層ごとに単調に減少しており、安定的かつ段階的なノイズ除去プロセスが進行していることが示された。
• 層ごとの寄与度マップから、初期層が大部分のノイズ低減を担っており、深層に進むほどエッジやテクスチャの微調整がなされていることが分かった。
• 混同行列から、カテゴリ特化型のノイズ除去器が各意味的カテゴリに特化しており、対角成分の優位性から、クラスに適応した性能の高さが確認された。