[論文レビュー] Camera Lens Super-Resolution

Chang Chen, Zhiwei Xiong+3 more|arXiv (Cornell University)|Apr 6, 2019

Advanced Image Processing Techniques参考文献 34被引用数 9

ひとこと要約

本稿では、実際のカメラレンズにおける解像度-視野角（R-V）トレードオフを、現実的な低解像度（LR）および高解像度（HR）画像ペアを用いてモデル化するCameraSRという新しい超解像手法を提案する。City100データセット（制御されたDSLRおよびスマートフォン撮影により収集）を用いて訓練することで、bicubicダウンサンプリングなどの合成劣化モデルに比べ顕著に優れた再構成精度と知覚的品質を達成し、コンテンツやデバイスをまたいで一般化可能であり、高度なデジタルズームツールとしての応用が可能となる。

ABSTRACT

Existing methods for single image super-resolution (SR) are typically evaluated with synthetic degradation models such as bicubic or Gaussian downsampling. In this paper, we investigate SR from the perspective of camera lenses, named as CameraSR, which aims to alleviate the intrinsic tradeoff between resolution (R) and field-of-view (V) in realistic imaging systems. Specifically, we view the R-V degradation as a latent model in the SR process and learn to reverse it with realistic low- and high-resolution image pairs. To obtain the paired images, we propose two novel data acquisition strategies for two representative imaging systems (i.e., DSLR and smartphone cameras), respectively. Based on the obtained City100 dataset, we quantitatively analyze the performance of commonly-used synthetic degradation models, and demonstrate the superiority of CameraSR as a practical solution to boost the performance of existing SR methods. Moreover, CameraSR can be readily generalized to different content and devices, which serves as an advanced digital zoom tool in realistic imaging systems. Codes and datasets are available at https://github.com/ngchc/CameraSR.

研究の動機と目的

• 合成劣化モデルとの不一致が原因で、既存の超解像手法が実世界の画像処理システムに適用された際の性能低下を解消すること。
• カメラレンズに内在する解像度-視野角（R-V）トレードオフを、超解像のための現実的劣化モデルとして調査すること。
• 実データから得たR-V劣化を学習することで、実画像処理システムにおける画像解像度向上の実用的解決策を開発すること。
• CameraSRが多様なコンテンツおよびデバイスにわたって良好に一般化されることを示し、物理的レンズ限界を超えた高度なデジタルズーム機能を実現すること。
• 一般的に用いられる合成劣化モデル（例：bicubic）が、実際のレンズに基づく劣化を適切にモデル化できないことを検証すること。

提案手法

• DSLRに望遠ズームレンズを装着し tripods に固定して、異なる焦点距離で100の都市風景を撮影するデータ収集戦略と、スライド台に設置したスマートフォンを用いて視野角の変化を模擬する戦略の2つを提案。
• 空間的ずれ、明るさのばらつき、色のずれを是正する包括的なデータ補正パイプラインを適用。
• DSLRおよびスマートフォンシステムから得た100組のアラインドLR-HR画像ペアを含むCity100データセットを構築し、実R-V劣化をモデル化。
• VDSRやSRGANなどの超解像ネットワークを、bicubicダウンサンプリングなどの合成モデルではなく、学習されたR-V劣化モデルを用いてCity100で訓練。
• 学習されたR-V劣化カーネルを活用して、実際の光学系における解像度損失を逆転させ、物理的レンズ限界を超えた解像度向上を実現。
• 1台のデバイス（例：iPhone X）で訓練したモデルを、他のデバイス（例：Huawei P20、Samsung S9）および多様なシーンコンテンツに適用して一般化性能を評価。

実験結果

リサーチクエスチョン

• RQ1 実際のカメラレンズにおけるR-V劣化は、bicubicダウンサンプリングなどの合成劣化モデルと比較して、情報損失の観点でどのように異なるか？
• RQ2 DSLRおよびスマートフォンカメラの実LR-HRペアを用いて学習した学習ベースの超解像手法は、合成劣化モデルで訓練した手法を上回る性能を示せるか？
• RQ3 1台のデバイスで訓練したCameraSRモデルが、他のデバイスおよび多様なシーンコンテンツにどの程度一般化できるか？
• RQ4 CameraSRは、光学系における解像度-視野角トレードオフを効果的に緩和でき、物理的レンズ限界を超えたデジタルズームを可能にするか？
• RQ5 現実的なR-V劣化モデルを用いることで、合成モデルと比較して超解像性能にどの程度の定量的影響があるか？

主な発見

• 同じHR画像に対して、R-V劣化はbicubicダウンサンプリングと比較して顕著に高い情報損失を引き起こしており、PSNRが28.56 dB（bicubic）から27.22 dB（R-V）に低下した。
• City100データセットで訓練されたCameraSRは、合成劣化モデルで訓練されたモデルに比べ、再構成精度と知覚的品質の両面で顕著に優れている。特に実世界のLR画像に対して顕著な向上が見られる。
• CameraSRを用いた超解像結果は、bicubicやGaussian超解像と比較して、詳細回復の観点で明確な向上が確認されており、DSLRおよびスマートフォン画像における視覚的比較で裏付けられている。
• CameraSRは、新しいコンテンツ（例：屋外風景、多様な被写体）および異なるデバイス（例：iPhone XからHuawei P20、Samsung S9まで）にわたって効果的に一般化され、高い性能を維持している。
• CameraSRは、R-V劣化を効果的に逆転させることで、物理的ズーム比を超えた解像度向上を実現し、高度なデジタルズームを可能にしている。
• CameraSRによる性能向上は、VDSRやSRGANを含むさまざまなネットワークアーキテクチャにわたり一貫しており、そのロバスト性と転送可能性が確認された。