[論文レビュー] Multi-scale deep neural networks for real image super-resolution

Shangqi Gao, Xiahai Zhuang|arXiv (Cornell University)|Apr 24, 2019

Advanced Image Processing Techniques参考文献 24被引用数 6

ひとこと要約

本論文は、未知のアップスケーリング要因および多様なダウンスケーリング演算子を想定した実画像超解像のためのマルチスケールディープニューラルネットワーク（MsDNN）を提案する。入力を2倍および4倍にダウンスケーリングした空間で処理することで、GPUメモリ使用量を削減し、効率的な学習と推論を実現する。この手法はNTIRE 2019チャレンジにおいて優れた性能を示し、MsDNがPSNRおよびSSIMの両面でMsRNを上回り、複数のカメラ由来のダウンスケーリング演算子に対しても良好な一般化性能を示している。

ABSTRACT

Single image super-resolution (SR) is extremely difficult if the upscaling factors of image pairs are unknown and different from each other, which is common in real image SR. To tackle the difficulty, we develop two multi-scale deep neural networks (MsDNN) in this work. Firstly, due to the high computation complexity in high-resolution spaces, we process an input image mainly in two different downscaling spaces, which could greatly lower the usage of GPU memory. Then, to reconstruct the details of an image, we design a multi-scale residual network (MsRN) in the downscaling spaces based on the residual blocks. Besides, we propose a multi-scale dense network based on the dense blocks to compare with MsRN. Finally, our empirical experiments show the robustness of MsDNN for image SR when the upscaling factor is unknown. According to the preliminary results of NTIRE 2019 image SR challenge, our team (ZXHresearch@fudan) ranks 21-st among all participants. The implementation of MsDNN is released https://github.com/shangqigao/gsq-image-SR

研究の動機と目的

• アップスケーリング要因が未知であり、画像間でダウンスケーリング演算子が異なる状況下での実画像超解像の課題に対処すること。
• 高解像度画像超解像タスクにおける計算複雑性およびGPUメモリ使用量を低減すること。
• 複数のカメラからのダウンスケーリング演算子など、異なるダウンスケーリング演算子に対しても一般化可能なディープラーニングモデルの開発。
• マルチスケールの残差および密集ネットワークを用いて、超解像画像における詳細回復を向上させること。
• 限られた学習データと大規模なテスト画像を想定したNTIRE 2019画像超解像チャレンジで競争力ある性能を達成すること。

提案手法

• 入力画像を複数のダウンスケーリング空間（×2および×4）で処理することで、解像度を低下させ、GPUメモリ消費量を低減する。
• ダウンスケーリング空間における特徴抽出のため、残差ブロックを基盤とするマルチスケール残差ネットワーク（MsRN）を設計する。
• 特徴伝搬を強化し、詳細回復を改善するために、密集ブロックを用いたマルチスケール密集ネットワーク（MsDN）を提案する。
• 入力画像のダウンスケーリング版を用いてモデルを学習・評価し、最終出力をアップスケーリングして高解像度画像を再構成する。
• 学習にはL2損失を、検証およびテストセットでの性能評価にはPSNRおよびSSIM指標を用いる。
• マルチスケールアーキテクチャを活用して、異なるダウンスケーリング演算子や未知のアップスケーリング要因に対しても一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アップスケーリング要因が未知である状況下でも、マルチスケールディープニューラルネットワークが実画像超解像を効果的に処理できるか？
• RQ2 ダウンスケーリングされた空間で画像を処理することで、GPUメモリ使用量が顕著に削減されると同時に、再構成品質を維持できるか？
• RQ3 PSNRおよびSSIMの観点から、MsRNとMsDNの画像超解像性能に差があるか？
• RQ4 提案されたMsDNNは、異なるカメラ由来のダウンスケーリング演算子に対しても一般化できるか？
• RQ5 バイキュービックダウンスケーリング仮定下での標準ベンチマーク（Set5、Set14、DIV2K）において、モデルの性能はいかがなものか？

主な発見

• MsDNはPSNR（29.51）およびSSIM（0.8671）がMsRN（29.42および0.8646）を上回り、詳細回復性能に優れていることが示された。
• NTIRE 2019の検証セットにおいて、MsDN-2はValidation-1で最高のPSNR（30.27）およびSSIM（0.8677）を達成した。一方、MsDN-1はValidation-2で最高のSSIM（0.8666）を記録した。
• 異なるダウンスケーリング演算子に対しても耐性を示した。Validation-2（カメラ-2）での性能がValidation-1（カメラ-1）よりも優れており、多様な撮影環境に適応できることを示唆している。
• バイキュービックダウンスケーリングを仮定した標準ベンチマーク（Set5、Set14、DIV2K）では、MsDNNはバイキュービック補間よりも性能が劣った。これは、学習データと不一致があることによるドメインシフトを示している。
• MsDNの平均推論時間は1枚あたり20秒、MsRNは21秒であり、マルチスケール処理を経ても効率的な推論が可能であることが示された。
• 本手法はNTIRE 2019画像超解像チャレンジで21位を達成し、未知のアップスケーリング要因を有する実世界データセットにおいて実用的な有効性を示した。