[論文レビュー] Fast and Accurate Single Image Super-Resolution via Information Distillation Network

Hui Zheng, Wang Xiu+1 more|arXiv (Cornell University)|Mar 26, 2018

Advanced Image Processing Techniques参考文献 23被引用数 59

ひとこと要約

本論文は、情報蒸留ブロックを備えた軽量CNN「IDN」を導入し、高速かつ高精度な単一画像超解像を実現します。PSNR/SSIM/IFCは競合水準で、計算時間を大幅に削減します。

ABSTRACT

Recently, deep convolutional neural networks (CNNs) have been demonstrated remarkable progress on single image super-resolution. However, as the depth and width of the networks increase, CNN-based super-resolution methods have been faced with the challenges of computational complexity and memory consumption in practice. In order to solve the above questions, we propose a deep but compact convolutional network to directly reconstruct the high resolution image from the original low resolution image. In general, the proposed model consists of three parts, which are feature extraction block, stacked information distillation blocks and reconstruction block respectively. By combining an enhancement unit with a compression unit into a distillation block, the local long and short-path features can be effectively extracted. Specifically, the proposed enhancement unit mixes together two different types of features and the compression unit distills more useful information for the sequential blocks. In addition, the proposed network has the advantage of fast execution due to the comparatively few numbers of filters per layer and the use of group convolution. Experimental results demonstrate that the proposed method is superior to the state-of-the-art methods, especially in terms of time performance.

研究の動機と目的

• SISR における計算コストとメモリ使用量の削減を動機づけつつ、再構成品質を高く保つ。
• 段階的に残差情報を蒸留するコンパクトなネットワーク（FBlock、DBlocks、RBlock）を設計する。
• 特徴を効率的に抽出・蒸留するための enhancement ユニットと compression ユニットを導入する。
• MAE 損失で訓練し、精度向上のために MSE 損失で微調整する。

提案手法

• LR 入力から初期特徴を得るための二つの 3x3 畳み込みを備えた特徴抽出ブロック。
• 情報蒸留ブロック (DBlocks) を積み重ね、それぞれが enhancement ユニット（ショート/ロングパスの特徴処理を持つ二つの浅い3層経路）と compression ユニット（1x1 conv）を含み、情報を蒸留する。
• 情報蒸留ブロックは局所的なショートパスとロングパスの特徴を混ぜて表現を豊かにし、冗長性を減らすために圧縮を行う。
• 転置畳み込みに基づく再構成ブロックを介して、アップサンプルした LR 入力を再構成された HR 残差に足してグローバル残差学習を行う。
• 訓練はまず MAE 損失を用い、精度向上のために MSE 損失で微調整する。

実験結果

リサーチクエスチョン

• RQ1 IDN は標準データセットで高品質のSRを維持しつつリアルタイムまたはほぼリアルタイム推論を達成できるか。
• RQ2 enhancement ユニットと compression ユニットは、逐次的な HR 再構成のために有用な情報を効果的に蒸留・保持するか。
• RQ3 PSNR、SSIM、IFC、実行時間の点で、IDN は一般的なベンチマークにおける最先端 SR 法とどのように比較されるか。

主な発見

• IDN は Set5, Set14, BSD100, Urban100 で最先端手法と比較して競争力のある PSNR/SSIM/IFC を達成し、多くの場合 PSNR と SSIM で高順位を占める。
• IDN は推論速度が優れており、MemNet や DRRN などよりはるかに高速である（Urban100 の 2x 拡大で MemNet より約 500 倍高速など）。
• Set5 x2 で 37.83 dB PSNR と 0.9600 SSIM、x3 で 34.11 dB PSNR と 0.9253 SSIM、x4 で 31.82 dB PSNR と 0.8903 SSIM。
• Set14 x2 で 33.30 dB PSNR と 0.9148 SSIM、x3 で 29.99 dB PSNR と 0.8354 SSIM、x4 で 28.25 dB PSNR と 0.7730 SSIM。
• BSD100 および Urban100 では、IDN は PSNR/SSIM で多くのベースラインを上回る傾向があり、IFC の結果は知覚品質の向上を示す（表3に示す通り）。
• グループ化畳み込みとグローバル残差構造を備えたコンパクトな 31 層ネットワークは、リアルタイム速度を実現しつつ競争力のある再構成精度を維持する。