[論文レビュー] Learning for Scale-Arbitrary Super-Resolution from Scale-Specific Networks

Longguang Wang, Yingqian Wang+4 more|arXiv (Cornell University)|Apr 8, 2020

Advanced Image Processing Techniques被引用数 6

ひとこと要約

本稿では、スケールに依存する既存の超解像ネットワークが任意スケールの超解像を実行できるようにするプラグインモジュールを提案する。スケールに適応した特徴表現の適応とスケールに適応したアップサンプリング層に加え、知識伝達パラダイムを用いる。この手法は整数スケールにおいて最先端の性能を達成するとともに、計算コストの増加を最小限に抑えながら非整数および非対称スケールの高精度なスケーリングを可能にする。

ABSTRACT

Recently, the performance of single image super-resolution (SR) has been significantly improved with powerful networks. However, these networks are developed for image SR with a single specific integer scale (e.g., x2;x3,x4), and cannot be used for non-integer and asymmetric SR. In this paper, we propose to learn a scale-arbitrary image SR network from scale-specific networks. Specifically, we propose a plug-in module for existing SR networks to perform scale-arbitrary SR, which consists of multiple scale-aware feature adaption blocks and a scale-aware upsampling layer. Moreover, we introduce a scale-aware knowledge transfer paradigm to transfer knowledge from scale-specific networks to the scale-arbitrary network. Our plug-in module can be easily adapted to existing networks to achieve scale-arbitrary SR. These networks plugged with our module can achieve promising results for non-integer and asymmetric SR while maintaining state-of-the-art performance for SR with integer scale factors. Besides, the additional computational and memory cost of our module is very small.

研究の動機と目的

• 既存の超解像ネットワークが特定の整数スケール要因（例：x2, x3, x4）にのみトレーニングされているという制限に対処する。
• 従来の研究で軽視されがちな非整数および非対称スケール要因に対しても、高性能な画像超解像を実現する。
• 既存のSRネットワークに再トレーニングを一切行わずにシームレスに統合可能な手法を開発する。
• さまざまなスケール要因にわたる性能を維持または向上させる一方で、追加の計算およびメモリコストを最小限に抑える。

提案手法

• 目的スケールに応じて特徴表現を調整する複数のスケールに適応した特徴適応ブロックで構成されるプラグインモジュールを導入する。
• 希望するスケール要因に応じてアップサンプリング処理を動的に調整するスケールに適応したアップサンプリング層を設計する。
• 事前トレーニング済みのスケールに依存するネットワークから、単一のスケールに適応したネットワークへ知識を効果的に伝達するスケールに適応した知識伝達パラダイムを提案する。
• スケールに依存するモデルの出力を用いて、統合ネットワークのトレーニングを知識蒸留法で行う。
• モジュラーかつネットワークのバックボーンに容易に挿入可能な設計により、既存のSRアーキテクチャとの互換性を確保する。
• 多スケールの監視戦略をトレーニング中に用いることで、多様なスケール要因にわたる学習の安定化を図る。

実験結果

リサーチクエスチョン

• RQ1 整数スケールの性能を維持しつつ、非整数および非対称スケールを含む任意スケール要因の超解像を1つの統合ネットワークで行えるか。
• RQ2 複数の事前トレーニング済みスケールに依存するネットワークから得られる知識を、1つのスケールに適応したネットワークに効果的に伝達する方法は何か。
• RQ3 プラグインモジュールを用いてスケールに適応した超解像を実現する際に、必要な追加の計算およびメモリコストは最小限でどれほどか。
• RQ4 ベースネットワークの再トレーニングを一切行わずに、多様なスケール要因に一般化できるか。

主な発見

• 提案されたプラグインモジュールにより、既存のスケールに依存する超解像ネットワークが再トレーニングなしで非整数および非対称スケール要因に対しても一般化可能である。
• 本手法は、標準的な整数スケール要因（例：x2, x3, x4）において最先端の性能を達成するとともに、任意スケールへの能力を拡張している。
• モジュールによって追加される計算およびメモリコストは最小限であり、実世界の展開において実用的である。
• スケールに適応した知識伝達パラダイムにより、スケールに依存するモデルからの知識が効果的に伝達され、統合ネットワークがそれぞれのスケールでそれらの性能を再現または上回っている。
• プラグインモジュールは、x1.5 や x2.5 といった挑戦的な非整数スケールを含む、多様なスケール要因においても高い画像品質を維持している。
• 本手法は強力な一般化性能を示しており、複数のベンチマークデータセットおよびスケール設定において一貫した性能向上が確認された。