[論文レビュー] Learning A Single Network for Scale-Arbitrary Super-Resolution

Longguang Wang, Yingqian Wang+4 more|arXiv (Cornell University)|Apr 8, 2020

Advanced Image Processing Techniques参考文献 49被引用数 7

ひとこと要約

本論文では、条件付き畳み込みを用いて動的でスケールに適応したフィルタ生成を可能にするプラグインモジュールを提案する。これにより、既存の単一画像超解像ネットワークが非整数および非対称のスケール要因を含む任意のスケールにおける超解像を実現できる。この手法は整数スケールにおいて最先端の性能を達成するとともに、最小限の計算コスト増加でエンドツーエンドかつ効率的な任意スケール超解像を実現する。

ABSTRACT

Recently, the performance of single image super-resolution (SR) has been significantly improved with powerful networks. However, these networks are developed for image SR with a single specific integer scale (e.g., x2;x3,x4), and cannot be used for non-integer and asymmetric SR. In this paper, we propose to learn a scale-arbitrary image SR network from scale-specific networks. Specifically, we propose a plug-in module for existing SR networks to perform scale-arbitrary SR, which consists of multiple scale-aware feature adaption blocks and a scale-aware upsampling layer. Moreover, we introduce a scale-aware knowledge transfer paradigm to transfer knowledge from scale-specific networks to the scale-arbitrary network. Our plug-in module can be easily adapted to existing networks to achieve scale-arbitrary SR. These networks plugged with our module can achieve promising results for non-integer and asymmetric SR while maintaining state-of-the-art performance for SR with integer scale factors. Besides, the additional computational and memory cost of our module is very small.

研究の動機と目的

• 既存の超解像ネットワークが特定の整数スケール要因にのみトレーニングされており、非整数または非対称なスケーリングに対応できないという制限を解消すること。
• 1つのモデルが非整数および非対称を含む任意のスケール要因において高品質な超解像を実行できるようにすること。
• バックボーンを再トレーニングすることなく統合可能な、軽量で即挿し可能なモジュールを設計すること。
• メタラーニングと大容量メモリを必要とするMeta-SRなどの既存手法と比較して、計算コストおよびメモリコストを低減すること。
• 後処理としての補間を回避するエンドツーエンドのスケールに依存しない超解像ソリューションを提供すること。

提案手法

• 任意の事前トレーニング済み超解像ネットワークに接続可能なプラグインモジュールを導入し、スケールに依存しない超解像を可能にする。
• ターゲットスケール要因に応じて特徴マップを条件づける複数のスケールに適応した特徴変換ブロックを設計し、任意スケールにおける特徴表現を向上させる。
• 条件付き畳み込みを用いて、入力スケールに応じて動的フィルタを生成するスケールに適応したアップサンプリング層を実装する。
• 条件付き畳み込みを用いてスケール固有のフィルタを生成し、ネットワークが任意のスケール要因に対してフィルタリング動作を適応的に調整できるようにする。
• バックボーンネットワークと一体でエンドツーエンドにトレーニングすることで、任意スケールにおける特徴とアップサンプリングの共同最適化を可能にする。
• RCAN、RDN、EDSRといった最先端のネットワークにモジュールを適用し、スケールタイプにかかわらず一貫した性能向上を達成する。

実験結果

リサーチクエスチョン

• RQ1 非整数および非対称なケースを含む任意のスケール要因に対して、別々のモデルを用意せず、1つのディープラーニングモデルで超解像を実行できるか？
• RQ2 スケール情報は、特徴学習およびアップサンプリングプロセスにどのように効果的に統合できるか？これにより、多様なスケール要因における性能向上が図れるか？
• RQ3 計算コストおよびメモリコストを最小限に抑え、既存のスケール固有のネットワークを拡張するための軽量で即挿し可能なモジュールを設計できるか？
• RQ4 Meta-SRなどの既存手法と比較して、非整数および非対称スケール要因における性能はどのように異なるか？
• RQ5 任意スケールへの拡張に加えて、標準的な整数スケール要因（×2、×3、×4）においても性能を維持または向上できるか？

主な発見

• ArbRCANは、Manga109データセットにおいて非対称スケーリング（×2.5、×3.5）でPSNR 37.93 dBを達成し、Meta-RCAN（+Bicubic）の37.80 dBおよびMeta-RCAN（+Bicubic+ft）の37.80 dBを上回る。
• 提案手法により、メモリコストはMeta-RCANの2.8GBから0.7GBへ、推論時間は0.61秒から0.29秒へと大幅に削減され、効率性の向上が明確に示された。
• Urban100データセットでは、ArbRCANが×3.5非対称スケーリングでPSNR 34.41 dBを達成し、ベースラインのRCANおよびMeta-RCAN（bicubic後処理付き）を著しく上回った。
• 視覚的比較では、ストライプやテキストなどのテクスチャにおいて、他の手法と比較して細部をよりよく保持し、ぼやけたアーチファクトを低減している。
• プラグインモジュールは、標準的な整数スケール要因（×2、×3、×4）においても最先端の性能を維持しており、PSNR値は元のネットワークと同等またはそれを上回っている。
• 本手法は、非対称スケーリングにおけるエンドツーエンドのスケールに依存しない超解像を実現する最初の手法であり、後処理としての補間の必要性を排除した。