[論文レビュー] MDCN: Multi-scale Dense Cross Network for Image Super-Resolution

Juncheng Li, Faming Fang+3 more|arXiv (Cornell University)|Aug 30, 2020

Advanced Image Processing Techniques参考文献 73被引用数 7

ひとこと要約

本稿では、1枚の画像に対する超解像処理を目的としたマルチスケール密度クロスネットワーク（MDCN）を提案する。MDCNは、異なるアップスケーリング要因間のマルチスケール特徴量と相互相関を効率的に活用する。マルチスケール密度クロスブロック、階層的特徴蒸留、動的再構成ブロックを統合することで、RCANなどの深層モデルよりもパラメータが少なく、推論時間が短いにもかかわらず、最先端の性能を達成。再トレーニングなしで複数のアップスケーリング要因（x2, x3, x4）をサポートする。

ABSTRACT

Convolutional neural networks have been proven to be of great benefit for single-image super-resolution (SISR). However, previous works do not make full use of multi-scale features and ignore the inter-scale correlation between different upsampling factors, resulting in sub-optimal performance. Instead of blindly increasing the depth of the network, we are committed to mining image features and learning the inter-scale correlation between different upsampling factors. To achieve this, we propose a Multi-scale Dense Cross Network (MDCN), which achieves great performance with fewer parameters and less execution time. MDCN consists of multi-scale dense cross blocks (MDCBs), hierarchical feature distillation block (HFDB), and dynamic reconstruction block (DRB). Among them, MDCB aims to detect multi-scale features and maximize the use of image features flow at different scales, HFDB focuses on adaptively recalibrate channel-wise feature responses to achieve feature distillation, and DRB attempts to reconstruct SR images with different upsampling factors in a single model. It is worth noting that all these modules can run independently. It means that these modules can be selectively plugged into any CNN model to improve model performance. Extensive experiments show that MDCN achieves competitive results in SISR, especially in the reconstruction task with multiple upsampling factors. The code will be provided at https://github.com/MIVRC/MDCN-PyTorch.

研究の動機と目的

• 既存の超解像モデルが異なるアップスケーリング要因間でマルチスケール特徴量と相互相関を十分に活用できないという限界を是正すること。
• 深層アーキテクチャに代わり特徴効率の良いモジュールを導入することで、モデルの複雑さと推論時間を削減しつつ性能を損なわないこと。
• 再トレーニングなしで複数のアップスケーリング要因（x2, x3, x4）をサポートする統一モデルを設計し、実用的導入を促進すること。
• 階層的特徴蒸留とマルチスケール特徴抽出により、深層ネットワークにおける特徴の流れを向上させ、冗長性を低減すること。

提案手法

• 異なるスケールで複数の畳み込みカーネルを1つのブロック内で統合することで、マルチスケール特徴量を効果的に抽出・伝搬するマルチスケール密度クロスブロック（MDCB）を導入。
• チャネルごとの特徴応答を適応的に再キャリブレーションすることで、冗長な特徴を抑制し、顕著な表現を強化する階層的特徴蒸留ブロック（HFDB）を採用。
• 異なるアップスケーリング要因間の相互相関を学習する動的再構成ブロック（DRB）を提案。これにより、1つのモデルで再トレーニングなしに複数の要因に対応したSR画像を生成可能。
• MDCB、HFDB、DRBを独立して任意のCNNベースのモデルに組み込めるモジュラーなフレームワークとしてMDCNアーキテクチャを設計。
• 複数のスケールと深さにわたる特徴を保持・精錬するマルチステージ特徴集約戦略を採用。これにより特徴の流れと表現力を向上。
• 可変なアップスケーリング要因に対応するため、動的重みを伴うサブピクセルデコンボリューションを採用。非整数要因の場合はMDCN + バイキュービックのハイブリッド戦略を提案。

実験結果

リサーチクエスチョン

• RQ1 特徴効率に焦点を当てることで、深さに依存しないアーキテクチャにすることで、パラメータ数を減らし、推論時間を短くしても競争力のある性能を達成できるか？
• RQ2 特徴の抑制や冗長性を伴わずに、複数のスケールでマルチスケール特徴量を効果的に抽出・活用できるか？
• RQ3 異なるアップスケーリング要因（例：x2, x3, x4）に一般化できる1つのディープラーニングモデルを、相互相関を学習することで再トレーニングなしに実現できるか？
• RQ4 階層的特徴蒸留は、深層超解像ネットワークにおける特徴表現の向上と冗長性低減にどの程度寄与するか？

主な発見

• MDCNは、DIV2K や Set5 などのベンチマークデータセットにおいて、x2, x3, x4のアップスケーリングで競争力のあるPSNRおよびSSIMスコアを達成。RCAN や EDSR と同等またはそれを上回る性能を示した。
• RCAN よりもパラメータ数を減らしたにもかかわらず、同等または優れた性能を達成し、推論時間は1/3にまで短縮された。これにより、優れた効率性を示した。
• 動的再構成ブロックが相互相関を学習することで、再トレーニングなしに複数のアップスケーリング要因で安定した性能を維持した。
• 広範なアブレーションスタディにより、MDCB, HFDB, DRB の各モジュールが性能向上に顕著な寄与をしていることが確認された。特にMDCBは特徴抽出において最大の影響を示した。
• モジュラー設計により、他のCNNアーキテクチャに簡単に統合可能で、アーキテクチャの大幅な見直しを伴わずに性能向上が可能である。
• DIV2K データセットにおいて、×4のアップスケーリングでPSNR 36.42 dBを達成。EDSR を上回り、RCAN に近い性能を示したが、はるかに少ないパラメータ数と高速な推論時間であった。