[論文レビュー] Towards Real Scene Super-Resolution with Raw Images

Xiangyu Xu, Yongrui Ma+1 more|arXiv (Cornell University)|May 29, 2019

Advanced Image Processing Techniques参考文献 32被引用数 6

ひとこと要約

本稿では、生の画像データと現実的なデータ生成パイプラインを活用することで、実写画像における性能を向上させる、新しい超解像フレームワークを提案する。カメラの画像処理プロセスをシミュレートし、生の放射率情報を利用し、空間的に変化する色補正を学習する二重畳み込みニューラルネットワークを用いることで、従来の手法に比べて、実際の撮影画像において優れた詳細回復と色再現性を達成する。

ABSTRACT

Most existing super-resolution methods do not perform well in real scenarios due to lack of realistic training data and information loss of the model input. To solve the first problem, we propose a new pipeline to generate realistic training data by simulating the imaging process of digital cameras. And to remedy the information loss of the input, we develop a dual convolutional neural network to exploit the originally captured radiance information in raw images. In addition, we propose to learn a spatially-variant color transformation which helps more effective color corrections. Extensive experiments demonstrate that super-resolution with raw data helps recover fine details and clear structures, and more importantly, the proposed network and data generation pipeline achieve superior results for single image super-resolution in real scenarios.

研究の動機と目的

• 現実の撮影画像における従来の超解像手法の性能が低いのは、不自然なトレーニングデータと処理済み入力からの情報損失に起因するため、これを是正すること。
• 変動するぼかしカーネルと線形生の空間における非定常ノイズを含む、完全なカメラ画像処理パイプラインをシミュレートすることで、より現実的な低解像度トレーニングデータを生成すること。
• 生画像に内在するより高いダイナミックレンジと線形放射率情報を利用することで、微細なディテールと明確な構造を回復すること。
• 参照色画像を用いて空間的に変化する色変換を学習することで、異なるカメラ間で一般化可能なモデルを構築すること。
• カメラ固有のトレーニングを必要とせず、実世界の画像に対して効果的な超解像を実現すること。

提案手法

• データ生成パイプラインが、可変なぼかしカーネルと非定常ガウスノイズを線形生データに適用することで、現実的な低解像度トレーニングサンプルを生成する。
• 二重ブランチの畳み込みニューラルネットワークを提案：一方のブランチは生入力から高解像度線形測定値を復元し、もう一方は参照低解像度カラー画像を用いて空間的に変化する色補正を推定する。
• エンコーダ・デコーダアーキテクチャ内に密集接続畳み込み層を用い、画像修復のためのマルチスケール特徴を捉える。
• 色補正ブランチは、ピクセル単位の変換行列を学習することで、グローバル変換アーチファクトを回避し、より良い色再現性を実現する。
• 二つのブランチ間の特徴統合により、生データからの構造的ディテールと参照画像からの色の正確さを組み合わせ、正確でアーチファクトのない予測を可能にする。
• モデルは、提案されたパイプラインで生成された合成データ上でエンドツーエンドにトレーニングされ、未学習のカメラからの実際の撮影画像で評価される。

実験結果

リサーチクエスチョン

• RQ1 カメラ画像処理プロセスをシミュレートすることで生成された現実的なトレーニングデータは、実際の撮影画像における超解像性能を向上させるか？
• RQ2 超解像において生放射率情報を活用することで、処理済みRGB画像を用いる場合に比べて、より優れたディテール回復が達成できるか？
• RQ3 生画像と参照カラー画像を併用する二重CNNアーキテクチャは、異なるカメラモデルやISPパイプラインに一般化可能か？
• RQ4 グローバル色変換と比較して、空間的に変化する色補正は色アーチファクトをどれほど効果的に低減できるか？
• RQ5 提案手法は、カメラ固有の適応を必要とせず、実世界の画像で優れた結果を達成できるか？

主な発見

• 提案されたデータ生成パイプラインは、RDNなどの既存の超解像モデルをその合成データで再トレーニングした場合に顕著に性能向上を示し、実画像においてよりシャープな結果を生み出す。
• 生データを用いることで、標準的なRGBベースの超解像では失われる微細なディテールや明確な構造を回復でき、実際の撮影画像における定性的比較で明確に示されている。
• 空間的に変化する色補正を備えた二重CNNアーキテクチャは、グローバル色補正や生データのみを用いるモデルに比べ、より高精度な色再現性と少ないアーチファクトを実現する。
• アブレーションスタディの結果、生入力、色補正ブランチ、または特徴統合を削除すると、ディテール回復と色再現性が顕著に劣化することが確認された。
• モデルは、キヤノン、ソニー、ニコン、ライカなど多様なカメラやISPシステムに対しても良好に一般化され、Dcraw や手動で補正された MIT-Adobe 5K 画像など、異なるソースからのデータでトレーニングされた場合でも、その性能を維持する。
• 未学習のカメラからの実画像において、提案手法は、従来手法に比べてより優れた視覚的品質を達成しており、シャープなエッジと正確な色再現性を実現している。