[論文レビュー] Exploiting Raw Images for Real-Scene Super-Resolution

Xiangyu Xu, Yongrui Ma+2 more|arXiv (Cornell University)|Feb 2, 2021

Advanced Image Processing Techniques参考文献 73被引用数 4

ひとこと要約

本論文は、生画像データと現実的なカメラ劣化を模倣したデータを活用することで、最先端のリアルシーン単一画像超解像を達成する2本の畳み込みニューラルネットワークを提案する。可変なぼかしカーネルと異分散性ノイズを含む現実の画像生成プロセスを模倣したトレーニングデータを生成し、詳細回復のための線形生データを活用することで、カメラ固有のファインチューニングなしに、実際の撮影画像に対して優れたPSNR（30.27）とSSIM（0.7871）を達成する。

ABSTRACT

Super-resolution is a fundamental problem in computer vision which aims to overcome the spatial limitation of camera sensors. While significant progress has been made in single image super-resolution, most algorithms only perform well on synthetic data, which limits their applications in real scenarios. In this paper, we study the problem of real-scene single image super-resolution to bridge the gap between synthetic data and real captured images. We focus on two issues of existing super-resolution algorithms: lack of realistic training data and insufficient utilization of visual information obtained from cameras. To address the first issue, we propose a method to generate more realistic training data by mimicking the imaging process of digital cameras. For the second issue, we develop a two-branch convolutional neural network to exploit the radiance information originally-recorded in raw images. In addition, we propose a dense channel-attention block for better image restoration as well as a learning-based guided filter network for effective color correction. Our model is able to generalize to different cameras without deliberately training on images from specific camera types. Extensive experiments demonstrate that the proposed algorithm can recover fine details and clear structures, and achieve high-quality results for single image super-resolution in real scenes.

研究の動機と目的

• 単一画像超解像における合成トレーニングデータと実際の撮影画像のドメインギャップを埋める。
• 既存手法が生画像データ内の放射率情報を見過ごし、単純化されたデータ生成パイプラインを用いるという制限を解消する。
• 再トレーニングを必要とせず、多様なカメラタイプやISPパイプラインで良好に動作する汎用的な超解像モデルを開発する。
• 高ビット深度の線形生データを活用し、トレーニング中に現実的な画像劣化をモデリングすることで、画像修復品質を向上させる。
• 学習ベースのガイド付きフィルタと密なチャネルアテンションブロックを用いて、実世界の超解像において効果的な色補正と構造の保持を実現する。

提案手法

• 線形生データに可変なぼかしカーネルと異分散性ガウスノイズを適用することで、現実のカメラ画像プロセスを模倣するデータ生成パイプライン。非線形なカラー画像ではなく、線形生データを対象とする。
• 2本の畳み込みニューラルネットワークアーキテクチャ：1本目のブランチは生データを処理して高分解能の線形測定値を復元し、2本目のブランチは処理済みRGB画像を用いて色の整合性を向上させる。
• 特徴マップを再キャリブレーションし、重要な特徴を強調しノイズを抑制するための密なチャネルアテンションブロック。
• 構造的詳細を保持しながら色ずれを補正するための学習ベースのガイド付きフィルタネットワーク。
• 再構成画像にL1損失を適用し、視覚的品質を向上させるための知覚損失を用いるが、GANベースの損失はアーティファクトを引き起こすため使用を避ける。
• 現実的な劣化を含む合成データでトレーニングし、ファインチューニングなしに未観測のカメラやISPパイプラインに一般化可能。

実験結果

リサーチクエスチョン

• RQ1 可変なぼかしや異分散性ノイズといった現実的な画像劣化モデリングは、超解像モデルの実際の撮影画像への一般化性能を向上させるか？
• RQ2 高ビット深度と線形放射率情報を含む生画像データを活用することで、処理済みRGB画像を用いる場合よりも優れた超解像性能が得られるか？
• RQ3 2本のブランチアーキテクチャは、生データの復元と色補正を効果的に統合し、構造的忠実性と色の正確性を向上させられるか？
• RQ4 本手法は、再トレーニングなしに異なるカメラモデルやISPパイプラインにどの程度一般化できるか？
• RQ5 敵対的訓練が、視覚的品質とアーティファクト生成の両面に与える影響は何か？

主な発見

• 本手法は、実際の撮影画像においてPSNR 30.27、SSIM 0.7871を達成し、RDN（PSNR 29.08、SSIM 0.7570）などの先行SOTA手法を顕著に上回る。
• 著者らの現実的なデータ生成パイプラインで既存のRDNモデルを再トレーニングすると、PSNRが29.08から30.05に向上し、データ生成アプローチの有効性を示す。
• 未観測のカメラや多様なISPパイプライン（HDR処理や人為的リタッチ画像を含む）に対しても、オリジナルのISPを事前に知らなくても良好に一般化する。
• 生データと線形劣化モデリングを用いることで、処理済みRGB画像を用いる手法と比較して、よりシャープな構造と繊細なディテールが得られる。
• 2本のブランチアーキテクチャを有するにもかかわらず、1枚あたり800×600の画像で0.647秒という競争力のある推論時間を維持する。
• GAN損失を用いた敵対的訓練は、視覚的にシャープなが、顕著なアーティファクトを伴う低品質な結果をもたらすため、最終モデルでは使用しない。