[論文レビュー] Lightweight Image Super-Resolution with Adaptive Weighted Learning Network

Chaofeng Wang, Zheng Li+1 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Image Processing Techniques参考文献 38被引用数 82

ひとこと要約

ローカルフュージョンブロックと適応的加重多スケールモジュールを備えた軽量なSISRネットワーク（AWSRN）を提案し、パラメータ数と計算量が類似でありながら優れた性能を達成する。

ABSTRACT

Deep learning has been successfully applied to the single-image super-resolution (SISR) task with great performance in recent years. However, most convolutional neural network based SR models require heavy computation, which limit their real-world applications. In this work, a lightweight SR network, named Adaptive Weighted Super-Resolution Network (AWSRN), is proposed for SISR to address this issue. A novel local fusion block (LFB) is designed in AWSRN for efficient residual learning, which consists of stacked adaptive weighted residual units (AWRU) and a local residual fusion unit (LRFU). Moreover, an adaptive weighted multi-scale (AWMS) module is proposed to make full use of features in reconstruction layer. AWMS consists of several different scale convolutions, and the redundancy scale branch can be removed according to the contribution of adaptive weights in AWMS for lightweight network. The experimental results on the commonly used datasets show that the proposed lightweight AWSRN achieves superior performance on x2, x3, x4, and x8 scale factors to state-of-the-art methods with similar parameters and computational overhead. Code is avaliable at: https://github.com/ChaofWang/AWSRN

研究の動機と目的

• 単一画像超解像の計算コストを削減する。
• 効果的な残差学習を備えた軽量アーキテクチャを設計する。
• 再構成において有用なスケールと特徴を選択するために適応重み付けを活用する。

提案手法

• 軽量なAdaptive Weighted Super-Resolution Network (AWSRN)を導入する。
• 積み重ねられた適応重み付け残差ユニット (AWRU) と局所残差融合ユニット (LRFU) からなるローカルフュージョンブロック (LFB) を開発する。
• 適応重み付けマルチスケール (AWMS) モジュールを、複数のスケール畳み込みと適応重みに導かれた冗長性のない枝を備えて提案する。
• 再構成における効率的な特徴融合のために適応重み付き残差学習を活用する。
• x2、x3、x4、x8スケールにわたる標準SRベンチマークで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 適応重み付けを備えた軽量なネットワークは、より重いモデルと競合するSR品質を達成できるか。
• RQ2 局所フュージョンブロック (LFB) はコンパクトなアーキテクチャで残差学習の効率をどう改善するか。
• RQ3 適応重み付けマルチスケール (AWMS) モジュールが再構成品質とモデル効率に与える影響は何か。
• RQ4 AWRSN は、複数のアップスケールファクター（x2, x3, x4, x8）に渡り、類似のパラメータ数と計算オーバーヘッドで優れた性能を維持するか。

主な発見

• AWSRN は、類似のパラメータと計算オーバーヘッドで最先端手法より優れた性能を達成する。
• ローカルフュージョンブロックは、積み重ねられた AWRU と LRFU を通じて効率的な残差学習を実現する。
• AWMS はマルチスケール畳み込みと適応重みにより、有益なスケールを活用しつつ冗長なブランチを削除する。
• この手法は複数のアップスケールファクター（x2, x3, x4, x8）に渡り有効である。
• 結果は論文に記載の一般的に使用されるSRデータセットで示されている。