[論文レビュー] Meta-SR: A Magnification-Arbitrary Network for Super-Resolution

Xuecai Hu, Haoyuan Mu+4 more|arXiv (Cornell University)|Mar 3, 2019

Advanced Image Processing Techniques参考文献 35被引用数 45

ひとこと要約

Meta-SR は、スケールと座標に条件付けられた画素ごとのフィルター重みを予測する Meta-Upscale Module を用いることで、任意の（非整数を含む）スケール係数で超解像を実行できる単一モデルを導入する。

ABSTRACT

Recent research on super-resolution has achieved great success due to the development of deep convolutional neural networks (DCNNs). However, super-resolution of arbitrary scale factor has been ignored for a long time. Most previous researchers regard super-resolution of different scale factors as independent tasks. They train a specific model for each scale factor which is inefficient in computing, and prior work only take the super-resolution of several integer scale factors into consideration. In this work, we propose a novel method called Meta-SR to firstly solve super-resolution of arbitrary scale factor (including non-integer scale factors) with a single model. In our Meta-SR, the Meta-Upscale Module is proposed to replace the traditional upscale module. For arbitrary scale factor, the Meta-Upscale Module dynamically predicts the weights of the upscale filters by taking the scale factor as input and use these weights to generate the HR image of arbitrary size. For any low-resolution image, our Meta-SR can continuously zoom in it with arbitrary scale factor by only using a single model. We evaluated the proposed method through extensive experiments on widely used benchmark datasets on single image super-resolution. The experimental results show the superiority of our Meta-Upscale.

研究の動機と目的

• 固定整数だけでなく、任意のスケールで画像をズームできる実用的な SISR を動機づける。
• 複数のスケール固有モデルを維持することを避けるため、任意のスケール SR が可能な単一モデルを開発する。
• アップサンプリング時に、メタ学習を活用してスケールごとの畳み込みフィルターの重みを予測する。

提案手法

• 従来のアップサンプリングを置換する Meta-Upscale Module を導入し、出力ピクセルごとにフィルター重みを予測する。
• Location Projection を用いて SR ピクセルを LR 座標へ floor(i/r), floor(j/r) によってマッピングする。
• スケール座標ベクトル v_ij を入力とする重み予測ネットワーク φ によって、画素ごとの重み W(i,j) を予測する。
• LR特徴を SR ピクセルへ、シンプルな特徴写像 Φ(FLR(i',j'), W(i,j)) = FLR(i',j') · W(i,j) によってマッピングする。
• Meta-Upscale を特徴学習モジュール（例: RDN）と統合して Meta-SR ネットワークを形成し、任意の r in (1,4] に対してエンドツーエンドで学習可能とする。
• DIV2K由来データに対して L1 ロスで訓練し、Set14、B100、Manga109、および DIV2K 上で評価する。

実験結果

リサーチクエスチョン

• RQ1 単一モデルが、非整数を含む任意のスケール因子の SR を、スケールごとに別々の重みを保存せずに学習できるか？
• RQ2 固定アップサンプリングモジュールと比較して、動的に予測される画素ごとのアップスケールフィルタは、さまざまなスケール範囲で SR の品質を向上させるか？
• RQ3 標準的な SR ベンチマークで PSNR/SSIM を評価したとき、Meta-Upscale はスケール特化のベースラインと比較してどのように性能を示すか？
• RQ4 従来のアップサンプリングモジュールと比較したときの Meta-Upscale モジュールの計算的トレードオフは何か？

主な発見

• Meta-SR は、いくつかのベンチマークで、スケール特化ベースラインと比較して競争力のあるまたは優れた PSNR/SSIM を達成する。
• 固定アップサンプリングを Meta-Upscale に置換することで、各スケールごとに個別モデルを訓練するよりも、単一モデルが任意のスケールに対応する方が効率的になる。
• Meta-Upscale モジュールは、出力ピクセルごとに畳み込み重みを生成する軽量な重み予測ネットワーク（ReLU 活性化を伴う 2 層の FC）を使用する。
• 非整数スケールの場合、Location Projection により画素ごとに適応する分数受容野挙動を可能とする。
• 多くのスケールをまたいでズームする際、Meta-SR の Meta-Upscale は複数の専用 SR モデルを再実行するより高速である。