[論文レビュー] Dancing under the stars: video denoising in starlight

Kristina Monakhova, Stephan R. Richter+2 more|arXiv (Cornell University)|Apr 8, 2022

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本論文では、GAMを用いて調整された物理ベースのノイズモデルを用いて、星明かり（0.001ルクス未塔）における写真的リアリズムを持つ動画ノイズ除去を初めて実現した。ノイズ生成器から得られる合成ノイズ動画と、同じカメラで撮影された実際の高ゲイン静止画を組み合わせることで、極めて低い照度下（0.001ルクス未塔）でも優れた時間的整合性と詳細再現性を実現する動画ノイズ除去器を訓練した。これにより、天の川の下で動く被写体の明瞭な動画撮影が可能になった。

ABSTRACT

Imaging in low light is extremely challenging due to low photon counts. Using sensitive CMOS cameras, it is currently possible to take videos at night under moonlight (0.05-0.3 lux illumination). In this paper, we demonstrate photorealistic video under starlight (no moon present, $

研究の動機と目的

• 極めて低い照度条件、具体的には0.001ルクス未塔の星明かりレベルにおいて、写真的リアリズムを持つ動画ノイズ除去を可能にすること。
• 従来のノイズ除去手法が機能しない、高ゲイン低照度撮影における非ガウス分布・センサ固有のノイズを扱う挑戦に応えること。
• モーションアライメントが必要ない清浄/ノイズあり動画ペアを必要としない、データ効率の良いトレーニングパイプラインを開発すること。これには、静止画バーストと合成動画を活用する。
• 月のない夜間条件下で、5～10 fpsの動的シーンの動画を撮影・ノイズ除去することが可能であることを実証すること。

提案手法

• 長時間露光および短時間露光の静止画ペアの限定的なデータセットを用いて、最高のカメラゲイン設定における現実的なノイズを合成する物理的インスピレーションを受けるノイズ生成器を訓練する。
• 実際のノイズと合成ノイズを区別できるようにするため、識別器を備えたGANフレームワークを用いてノイズ生成器を訓練し、高精度なノイズモデリングを実現する。
• 同じカメラから得た実際のノイズあり静止画バーストと、ノイズモデルを用いて生成された合成クリア/ノイズあり動画クリップを組み合わせたハイブリッドデータセットを用いて、動画ノイズ除去器を訓練する。
• ノイズ除去器は、特定のセンサの非ガウス分布ノイズ特性に対応できるように変更を加えたFastDVDnetアーキテクチャに基づく。
• ノイズモデリングとノイズ除去のトレーニングを分離することで、ノイズ生成器を固定したまま、合成データと実データの組み合わせでノイズ除去器を最適化できる。
• フレーム間のちらつきを最小限に抑えるために、動画固有のアーキテクチャ要因と損失関数を活用し、時間的整合性を向上させる。

Figure 1: Method overview. (a) First we train our noise generator along with a discriminator, which aims to distinguish between real and synthetic noise. We use a limited dataset of long exposure/low gain and short exposure/high gain non-moving image pairs during this training process. After trainin

実験結果

リサーチクエスチョン

• RQ1 0.001ルクス未塔という極めて低い光量下（星明かり）において、写真的リアリズムを持つ動画ノイズ除去が可能かどうか。
• RQ2 従来のノイズ仮定（例：ガウス分布）が失敗する高ゲイン・低照度撮影において、現実的なノイズモデルをどのように学習できるか。
• RQ3 合成データと実際の静止画でトレーニングされた動画ノイズ除去器が、0.001ルクス未塔の照明条件下での実世界の動的動画シーケンスにどの程度一般化可能か。
• RQ4 V-BM4D や FastDVDnet といった最先端の動画ノイズ除去手法と比較して、本手法は性能と時間的整合性においてどのように優れているか。

主な発見

• 著者らは、月のない星明かり下で0.6～0.7ミリルクス（0.0006～0.0007ルクス）の条件下で5～10 fpsの動画を撮影することに成功し、このような条件下での動く被写体の動画を初めて実現した。
• V-BM4D や事前学習済みの FastDVDnet と比較して、本手法は画像品質が優れており、ちらつきも顕著に減少していた。一方、これらベースライン手法は顕著な時間的アーチファクトとストリークノイズを示していた。
• 10名の被験者による盲検A/Bテスト（300回の比較）において、本手法は95％の割合で他の手法よりも優れた画像品質であると評価された。
• 本手法は、古典的手法（V-BM4D）およびディープラーニングベース手法（FastDVDnet、L2SID）の両方を上回り、星や動的運動の微細なディテールを特に効果的に保持していた。
• Noise2Selfは構造的なノイズパターンのため失敗し、ノイズが高頻度に相関しておりi.i.d.でない場合、自己教師付き手法の不適切さが浮き彫りになった。
• メテオールなどの高速移動物体に対しても、本手法は詳細の損失や深刻なアーチファクトなしに、安定した性能を維持していた。

Figure 2: Physics-inspired noise generator. Our noise generator takes in a clean image and produces a synthetic noisy image. During training, our physics-inspired statistical noise parameters are optimized along with a U-Net to produce a synthetic noisy image that is indistinguishable from a real no