[論文レビュー] Fast, Accurate, and Lightweight Super-Resolution with Cascading Residual Network

Namhyuk Ahn, Byungkon Kang+1 more|arXiv (Cornell University)|Mar 23, 2018

Advanced Image Processing Techniques被引用数 8

ひとこと要約

本稿では、高速で正確かつ効率的な単一画像超解像のためのCARN（Cascading Residual Network）およびその軽量版CARN-Mを提案する。残差ネットワークアーキテクチャ内に局所的およびグローバルな段階的残差接続を統合することで、CARNは特徴量の伝搬と勾配の流れを向上させ、大幅に少ないパラメータ数と演算量で最先端の性能を達成する。CARN-Mはパラメータ数を5倍に削減し、演算量をほぼ4倍に削減しながら、CARNと比較してPSNRが0.29低下するにとどまる。

ABSTRACT

In recent years, deep learning methods have been successfully applied to single-image super-resolution tasks. Despite their great performances, deep learning methods cannot be easily applied to real-world applications due to the requirement of heavy computation. In this paper, we address this issue by proposing an accurate and lightweight deep network for image super-resolution. In detail, we design an architecture that implements a cascading mechanism upon a residual network. We also present variant models of the proposed cascading residual network to further improve efficiency. Our extensive experiments show that even with much fewer parameters and operations, our models achieve performance comparable to that of state-of-the-art methods.

研究の動機と目的

• 深層学習ベースの超解像手法に高い計算コストが原因で実世界への適用性に欠けるというギャップを解消すること。
• モバイル機器およびリアルタイム動画ストリーミングアプリケーションに適した、軽量かつ高精度な深層学習モデルを設計すること。
• 従来の軽量モデルがパラメータ数の削減にのみ注力しているのに対し、演算量や推論速度の観点も含めた制限を克服すること。
• 複数の特徴レベル間での情報伝達と勾配伝播を向上させる段階的残差アーキテクチャを開発すること。
• 効率的な残差ブロックと再帰的ネットワーク設計を用いて、実用的な展開に適したモデル効率を最適化すること。

提案手法

• 局所的（ブロック単位）およびグローバル的（レイヤー単位）の両レベルで段階的接続を適用する段階的残差ネットワーク（CARN）を提案し、特徴表現と勾配の流れを向上させる。
• 多段階のショートカット接続を備えた残差ブロックを統合し、深層監視を可能にするとともに、勾配消失問題を緩和する。
• グループ畳み込みを用いて計算コストを低減しながらも性能を維持する効率的な残差ブロック（residual-E）を設計する。
• 同じ重みを複数のレイヤーで再利用することで、モデルのパラメータ数を削減する再帰的ネットワーク方式を実装する。
• 効率的な残差ブロックと再帰的段階的接続を組み合わせ、速度と低演算量を最適化した軽量バージョンCARN-Mを構築する。
• ベンチマークデータセット（Set14, DIV2K, Set5）を用いたマルチスケールトレーニング戦略を採用し、さまざまな超解像スケールでの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑さを増さずに段階的残差アーキテクチャが単一画像超解像における特徴表現と性能を向上させられるか？
• RQ2 局所的およびグローバルな段階的接続を組み合わせることで、深層超解像ネットワークにおける勾配の流れとモデル最適化にどのような影響を与えるか？
• RQ3 効率的な残差ブロックと再帰的ネットワークを用いることで、パラメータ数と演算量をどの程度削減できるか、かつ競争力のあるPSNRを維持できるか？
• RQ4 再帰的ネットワーク方式は性能を低下させるか。その場合、効率性の向上とバランスを取るにはどうすればよいか？
• RQ5 CARN-Mのような軽量モデルは、リアルタイムアプリケーションにおいて、重い最先端モデルと同等の性能を達成できるか？

主な発見

• CARNは×4超解像においてSet14データセットでPSNR 28.70を達成し、複雑さが低減されているにもかかわらず、既存の最先端手法を上回る性能を示した。
• CARN-MはCARNと比較してパラメータ数を5倍に削減し、演算量をほぼ4倍に削減しながら、PSNRの低下はわずか0.29にとどまった。
• グローバルな段階的接続と局所的な段階的接続の組み合わせは、単一のタイプの段階的接続または接続なしのモデルと比較して顕著に性能を向上させた。
• 再帰的ネットワーク方式を用いたモデルは、乗算加算演算（Mult-Adds）に変化がなかったが、パラメータ数の減少によりわずかに性能が低下した。
• グループサイズ4の効率的な残差ブロックと再帰的段階的接続を組み合わせた構成が、性能と効率の最良のトレードオフを実現し、CARN-Mの基盤を形成した。
• 視覚的比較では、CARNおよびCARN-Mは、特に高周波数領域において、ベースライン手法と比較してよりシャープなテクスチャとより少ないアーチファクトを生成した。