[論文レビュー] DIFAR: Deep Image Formation and Retouching

Seán Moran, Greg Slabaugh|arXiv (Cornell University)|Nov 29, 2019

Image and Signal Denoising Methods被引用数 2

ひとこと要約

DIFAR は、マルチスケールのコンテキストに配慮したノイズ除去／デモザイシングおよびグローバルリタッチブロックを統合することで、従来の画像信号処理（ISP）パイプラインを置き換えるパrameter効率の良い深層ニューラルネットワークであり、Samsung S7 や MIT-Adobe 5k などのデータセットにおいて、客観的および知覚的指標の両方で最先端の画像品質を達成している。

ABSTRACT

We present a novel neural network architecture for the image signal processing (ISP) pipeline. In a camera system, the ISP is a critical component that forms a high quality RGB image from RAW camera sensor data. Typical ISP pipelines sequentially apply a complex set of traditional image processing modules, such as demosaicing, denoising, tone mapping, etc. We introduce a new deep network that replaces all these modules, dubbed Deep Image Formation And Retouching (DIFAR). DIFAR introduces a multi-scale context-aware pixel-level block for local denoising/demosaicing operations and a retouching block for global refinement of image colour, luminance and saturation. DIFAR can also be trained for RGB to RGB image enhancement. DIFAR is parameter-efficient and outperforms recently proposed deep learning approaches in both objective and perceptual metrics, setting new state-of-the-art performance on multiple datasets including Samsung S7 and MIT-Adobe 5k.

研究の動機と目的

• 複雑で逐次的な従来のISPパイプラインを統合された深層学習アーキテクチャで置き換えること。
• 局所的およびグローバルな画像特性を同時に最適化することで、RAW から RGB への変換における画像品質を向上させること。
• 少ないモデルパラメータで高い性能を達成することで、効率性と展開性を向上させること。
• RAW から RGB および RGB から RGB への画像強調処理タスクの両方をエンド・ツー・エンドで学習可能にすること。
• 客観的および知覚的画像品質指標において、新たな最先端の結果を達成すること。

提案手法

• 空間的および特徴量レベルのコンテキストを用いて、局所的なノイズ除去およびデモザイシングを実行するマルチスケールのコンテキストに配慮したピクセル単位のブロックを導入する。
• 画像全体にわたる色、輝度、彩度のグローバルな精錬を実行する別個のリタッチブロックを採用する。
• デモザイシング、ノイズ除去、トーンマッピングなどの従来のISPモジュールを置き換える統合ネットワークアーキテクチャを設計する。
• RAW 画像とそれに対応する高品質なRGB 画像を用いて、教師あり学習によりネットワークをエンド・ツー・エンドで訓練する。
• 多目的損失関数を用いて、客観的指標（例：PSNR、SSIM）と知覚的品質の両方を最適化する。
• アーキテクチャの変更なしに、RGB から RGB への強調処理タスクのための転移学習およびファインチューニングをサポートする。

実験結果

リサーチクエスチョン

• RQ1 1つの深層ニューラルネットワークが、優れた性能を発揮しながらも、完全に従来のISPパイプラインを置き換えることができるか？
• RQ2 マルチスケールのコンテキストモデリングは、デモザイシングおよびノイズ除去における局所的画像再構築をどのように向上させるか？
• RQ3 グローバルリタッチブロックは、局所的処理をはるかに超えて知覚的画像品質を向上させることができるか、その程度はいかほどか？
• RQ4 提案されたアーキテクチャは、パrameter効率を維持しながらも、最先端の結果を達成できるか？
• RQ5 モデルは、Samsung S7 や MIT-Adobe 5k などの多様なデータセットに一般化できるか？

主な発見

• DIFAR は、最近提案された深層学習ベースのISP手法よりも、客観的および知覚的画像品質指標の両方で優れた性能を示している。
• DIFAR は、Samsung S7 および MIT-Adobe 5k データセットにおいて、最先端の性能を達成し、新たなベンチマークを設定している。
• DIFAR は顕著なパrameter効率を示しており、競合モデルよりも少ない学習可能なパラメータで高い性能を達成している。
• 局所的なマルチスケールコンテキストとグローバルリタッチブロックの統合により、優れた画像再構築および強調処理が実現されている。
• このフレームワークは、RAW から RGB への変換にとどまらず、RGB から RGB への画像強調処理タスクにも成功裏に一般化されており、拡張性の高さを示している。
• 知覚的指標の結果から、DIFAR は色再現性の向上やノイズ低減を実現し、視覚的品質が向上した画像を生成することが確認された。