[論文レビュー] NODE: Extreme Low Light Raw Image Denoising using a Noise Decomposition Network

Hao Guan, Liu Liu+3 more|arXiv (Cornell University)|Sep 11, 2019

Image Processing Techniques and Applications被引用数 5

ひとこと要約

本稿では、ガウスノイズ、ポアソンノイズ、不良画素ノイズを別々に推定することで、極端に暗い露出のRAW画像を明確に分解・ノイズ除去するマルチタスク深層ニューラルネットワークであるNODEを提案する。物理的ノイズモデルを活用し、RAWドメインで直接処理することで、特にインパulse的な不良画素ノイズの抑制と繊細なテクスチャの保持に優れたノイズ除去品質を達成し、最先端の性能を発揮する。

ABSTRACT

Denoising extreme low light images is a challenging task due to the high noise level. When the illumination is low, digital cameras increase the ISO (electronic gain) to amplify the brightness of captured data. However, this in turn amplifies the noise, arising from read, shot, and defective pixel sources. In the raw domain, read and shot noise are effectively modelled using Gaussian and Poisson distributions respectively, whereas defective pixels can be modeled with impulsive noise. In extreme low light imaging, noise removal becomes a critical challenge to produce a high quality, detailed image with low noise. In this paper, we propose a multi-task deep neural network called Noise Decomposition (NODE) that explicitly and separately estimates defective pixel noise, in conjunction with Gaussian and Poisson noise, to denoise an extreme low light image. Our network is purposely designed to work with raw data, for which the noise is more easily modeled before going through non-linear transformations in the image signal processing (ISP) pipeline. Quantitative and qualitative evaluation show the proposed method to be more effective at denoising real raw images than state-of-the-art techniques.

研究の動機と目的

• 高感度（ISO）で増幅される読み取りノイズ、ショットノイズ、不良画素ノイズを伴う極端に暗い露出のRAW画像のノイズ除去の課題に対処する。
• 非線形ISP処理後に処理を行う従来のノイズ除去手法が白色ガウスノイズを仮定するという制限を克服する。
• マルチタスク学習フレームワークを用いて、ガウス、ポアソン、インパルス的不良画素ノイズの複数のノイズタイプを明示的にモデル化・分離することで、画像品質を向上させる。
• 極端に暗い露出条件下（ISO > 3200）で撮影された実世界のRAW画像において、優れた性能を示す。

提案手法

• ガウス、ポアソン、不良画素ノイズの3つのノイズ成分を同時に推定できるマルチタスク深層ニューラルネットワーク、NODEを提案する。
• 読み取りノイズがガウス分布に従い、ショットノイズがポアソン分布に従い、不良画素がインパルス的挙動を示す物理的ノイズモデルを保ちながら、RAWセンサデータに直接処理を施す。
• 共有エンコーダに加え、各ノイズタイプごとに並列に接続された3つのヘッドを設計し、共同最適化を実現しながらも、タスク固有の特徴抽出を維持する。
• 入力RAW画像から推定されたノイズ成分を差し引くことで、ノイズ除去されたクリアな画像を再構築するノイズ分解を実行する。
• 長露出の参照画像から得られる教師データを用い、L1損失と知覚的損失の組み合わせでネットワークを訓練する。
• 評価時、教師データ内で不良画素をマスクすることで、物理的に存在する残留ノイズに対してモデルがペナルティを受けないようにする。

実験結果

リサーチクエスチョン

• RQ1 ガウス、ポアソン、不良画素ノイズの複数ノイズタイプを明示的に分解することで、エンドツーエンドの単一タスクネットワークと比較して、極端に暗い露出のRAW画像におけるノイズ除去性能が向上するか？
• RQ2 非線形ISP変換の前段階であるRAWドメインで処理することで、ISP後処理のノイズ除去と比較して、より優れたノイズモデル化と高い画像品質が達成されるか？
• RQ3 本手法のマルチタスクネットワークは、従来手法（例：BM3D）がうまく処理できないインパルス的不良画素ノイズをどれほど効果的に抑制できるか？
• RQ4 DnCNN や MemNet といった最先端の深層学習ノイズ除去手法と比較して、本手法は繊細なテクスチャや画像ディテールをどれほど効果的に保持できるか？
• RQ5 本モデルは特定のセンサやISO設定に限定されるのではなく、複数のハードウェアやゲインレベルにも一般化可能か？

主な発見

• 実世界の極端に暗い露出RAW画像に対して評価した結果、NODEはすべての比較手法の中で最高のPSNR（32.15 dB）とSSIM（0.928）を達成した。
• NODEの知覚的インデックス（PI）スコアは5.42であり、全手法の中で最低であり、人間観測者が評価する視覚的品質が優れていることを示している。
• 定性的な結果から、NODEは不良画素ノイズを最も効果的に除去しており、DnCNN、Unet、MemNetとは異なり、テーブルなどの表面の繊細なテクスチャを保持している。
• BM3Dは自己類似性に依存しているため、孤立したインパルス的ノイズが存在する場合には性能が著しく低下する。
• マルチタスク設計により、ノイズの分離がより良好に実現され、各サブネットワークが特定のノイズタイプに集中することで、全体のノイズ除去忠実度が向上した。
• 単一のスマートフォンと単一のISO（12800）での学習設定でも、NODEは実世界の極端に暗い露出条件下で良好な一般化性能を示し、高いロバストネスを示した。