[論文レビュー] Residual Feature Distillation Network for Lightweight Image Super-Resolution

Jie Liu, Jie Tang+1 more|arXiv (Cornell University)|Sep 24, 2020

Advanced Image Processing Techniques参考文献 30被引用数 32

ひとこと要約

この論文はRFDNを提案する。軽量なSISRモデルで、特徴蒸留接続と浅い残差ブロックを備え、パフォーマンスとモデルサイズの最先端のトレードオフを達成し、強化版が AIM 2020 で優勝した。

ABSTRACT

Recent advances in single image super-resolution (SISR) explored the power of convolutional neural network (CNN) to achieve a better performance. Despite the great success of CNN-based methods, it is not easy to apply these methods to edge devices due to the requirement of heavy computation. To solve this problem, various fast and lightweight CNN models have been proposed. The information distillation network is one of the state-of-the-art methods, which adopts the channel splitting operation to extract distilled features. However, it is not clear enough how this operation helps in the design of efficient SISR models. In this paper, we propose the feature distillation connection (FDC) that is functionally equivalent to the channel splitting operation while being more lightweight and flexible. Thanks to FDC, we can rethink the information multi-distillation network (IMDN) and propose a lightweight and accurate SISR model called residual feature distillation network (RFDN). RFDN uses multiple feature distillation connections to learn more discriminative feature representations. We also propose a shallow residual block (SRB) as the main building block of RFDN so that the network can benefit most from residual learning while still being lightweight enough. Extensive experimental results show that the proposed RFDN achieve a better trade-off against the state-of-the-art methods in terms of performance and model complexity. Moreover, we propose an enhanced RFDN (E-RFDN) and won the first place in the AIM 2020 efficient super-resolution challenge. Code will be available at https://github.com/njulj/RFDN.

研究の動機と目的

• エッジデバイス向けの高速かつ正確な単一画像超解像を動機づける。
• 情報蒸留を再検討して軽量なブロックを設計する。
• チャンネル分割の軽量な代替として特徴蒸留接続(FDC)を提案する。
• 追加パラメータなしで残差学習を強化する浅い残差ブロック(SRB)を導入する。
• RFDNと強化版RFDN(E-RFDN)が少数のパラメータで強力なSR性能を達成することを実証する。

提案手法

• チャンネル分割と同等だがより軽量で柔軟な特徴蒸留接続(FDC)を提案する。
• IMDBを、蒸留と精製操作をDL（蒸留特徴）とRL（精製）レイヤーに分離して再考する。
• 蒸留パスには3x3のチャネル削減畳み込みを1x1畳み込みに置換し、空間的精製（RFDB）には引き続き3x3カーネルを用いる。
• 単一の3x3畳み込みと恒等スキップを備えた浅い残差ブロック(SRB)を導入し、追加のパラメータなしに残差学習を活用する。
• 最終的な融合（1x1畳み込みの後に3x3畳み込み）とサブピクセルアップサンプリングを用いた再構成ブロックを組み合わせた複数のRFDBを積み重ねる。
• DIV2K上でL1損失で訓練し、評価はSet5、Set14、BSD100、Urban100、Manga109で×2、×3、×4スケールで行う。

実験結果

リサーチクエスチョン

• RQ1 軽量な蒸留ベースの設計は、より少ないパラメータで既存の軽量SRモデルを上回ることができるか？
• RQ2 チャンネル分割を1x1ベースの蒸留パス（FDC）に置換することで柔軟性と効率性が向上するか？
• RQ3 浅い残差ブロック(SRB)はパラメータを増やすことなくSR性能を向上させるか？
• RQ4 提案されたRFDBベースのアーキテクチャは、PSNR/SSIMと複雑さの点でIMDNや他の最先端の軽量SRモデルとどう比較されるか？
• RQ5 強化版(E-RFDN)は効率性を重視したSRチャレンジで勝てるか？

主な発見

• RFDNは、他の多くの軽量SRモデルよりもはるかに少ないパラメータで有利なPSNR/SSIMのバランスを達成する。
• アブレーション実験では、SRBは追加パラメータなしで測定可能な改善を提供し、FDCはベースラインに対して substantial な改善をもたらす。
• RFDB with FDC and SRBは、パフォーマンスとパラメータ効率の両方でIMDBベースの設計を上回る。
• RFDN/Mバリアントは、IMDNと競合するかそれ以上の結果を、約534K–550Kのパラメータで達成する。
• Enhanced RFDN (E-RFDN) は AIM 2020 の efficient super-resolution チャレンジで1位を獲得し、強力な効率と性能の向上を示した。