[論文レビュー] Low-light Image Restoration with Short- and Long-exposure Raw Pairs

Meng Chang, Huajun Feng+2 more|arXiv (Cornell University)|Jul 1, 2020

Advanced Image Processing Techniques参考文献 56被引用数 6

ひとこと要約

本論文では、ノイズ、ぼかし、色収差の問題を克服するため、短時間露光および長時間露光のRAW画像ペアを用いた新規な低照度画像修復手法を提案する。データ生成のための現実的な低照度画像パイプラインをシミュレートし、マルチスケール統合とずれ補正を備えたLSFNetアーキテクチャを導入することで、実際のモバイルデバイスからの撮影画像から、鮮鋭で色再現性に優れた画像を復元するという、最先端の性能を達成した。

ABSTRACT

Low-light imaging with handheld mobile devices is a challenging issue. Limited by the existing models and training data, most existing methods cannot be effectively applied in real scenarios. In this paper, we propose a new low-light image restoration method by using the complementary information of short- and long-exposure images. We first propose a novel data generation method to synthesize realistic short- and longexposure raw images by simulating the imaging pipeline in lowlight environment. Then, we design a new long-short-exposure fusion network (LSFNet) to deal with the problems of low-light image fusion, including high noise, motion blur, color distortion and misalignment. The proposed LSFNet takes pairs of shortand long-exposure raw images as input, and outputs a clear RGB image. Using our data generation method and the proposed LSFNet, we can recover the details and color of the original scene, and improve the low-light image quality effectively. Experiments demonstrate that our method can outperform the state-of-the art methods.

研究の動機と目的

• 既存の低照度画像強調手法がノイズ除去やぼかし除去にのみ焦点を当てており、実際のモバイルデバイスの画像では効果を発揮しないという限界を是正すること。
• センサーノイズや運動ぼかしを含む実際の低照度画像生成パイプラインをシミュレートすることで、より現実的な短時間露光および長時間露光のRAW画像ペアを生成すること。
• ずれやゴーストアーチファクト、露出ペア間の情報統合を効果的に処理できる、頑健な統合ネットワークを設計すること。
• 両露出タイプからの補完的情報を活用することで、低照度条件下での視覚的品質と忠実度を向上させること。
• 合成データおよび実世界の低照度画像データセットの両方で、最先端の性能を達成すること。

提案手法

• センサーレベルのノイズや運動ぼかしを含む、完全な低照度画像生成プロセスをシミュレートする現実的なデータ生成パイプラインを構築し、短時間露光および長時間露光のRAW画像ペアを合成する。
• 粗くから細かくまで画像を再構築するマルチスケールエンコーダ・デコーダ構造を用いた、提案されたLSFNetアーキテクチャを採用し、詳細回復を向上させる。
• 短時間露光および長時間露光画像間の空間的ずれを補正する、ずれに強いモジュールを統合する。
• 不一致した動きや露出差による偽構造を低減するため、ゴーストアーチファクト抑制モジュールを統合する。
• ISP変換による情報損失を避けるために、RAW画像を直接処理する統合ネットワークを採用する。
• 視覚的品質と構造的忠実度の両面を最適化するため、知覚的損失および再構築損失を用いたエンド・ツー・エンドの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 低照度画像生成パイプラインの現実的なシミュレーションは、実際のモバイルデバイスデータに対する低照度画像修復モデルの一般化性能を向上させ得るか？
• RQ2 深層ネットワークは、ノイズが少なくシャープな短時間露光画像（低ノイズ、シャープ）と、ノイズが多くぼやけた長時間露光画像（高ノイズ、ぼやけ）の補完的情報をどれほど効果的に統合できるか？
• RQ3 提案されたLSFNetは、ノイズ、ぼかし、色収差をどれほど低減しつつ、繊細なテクスチャーやダイナミックレンジを保持できるか？
• RQ4 提案手法は、合成データおよび実世界の低照度画像修復ベンチマークの両方で、既存の最先端手法を上回る性能を発揮するか？
• RQ5 入力画像ペアに高いノイズや深刻な運動ぼかしが存在する場合、計算コストと頑健性のトレードオフはどのようなものか？

主な発見

• 256×256の入力パッチにおいて、本手法はPSNR 30.70 dBを達成し、LSD 2（29.97 dB）やSRN（26.23 dB）といった先行手法を上回った。
• LSFNetは、豊富なテクスチャー、最小限のゴーストアーチファクト、正確な色再現性を実現し、過露出領域を含む複雑なシーンでも最高の視覚的品質を発揮した。
• 単一画像のぼかし除去やノイズ除去手法では不可能なように、短時間露光画像からの情報を活用することで、過露出領域の詳細回復に成功した。
• 露出統合ベースラインと比較して、LSFNetはノイズや入力画像からのアーチファクトを増幅せずに、よりシャープでコントラストの高い結果を生成した。
• わずか8.4Mパラメータで38.0 GFLOPsの計算コストを維持し、LSD 2（31.0Mパラメータ）のような重いモデルを上回る性能を発揮した。
• 極度の低照度条件下（高ノイズ・高ぼかし）でも、他の手法に比べて優れた性能を示したが、テクスチャーエリアにアーチファクトが現れる場合があり、さらなる頑健性の向上が求められることが示唆された。