[論文レビュー] Lightweight and Efficient Image Super-Resolution with Block State-based Recursive Network

Junho Choi, Jun-Hyuk Kim+2 more|arXiv (Cornell University)|Nov 30, 2018

Advanced Image Processing Techniques参考文献 24被引用数 12

ひとこと要約

本稿では、特徴量履歴を追跡する専用のブロック状態を導入することで、再帰的ニューラルネットワークの性能を向上させる軽量で効率的な超解像手法であるブロック状態ベース再帰ネットワーク（BSRN）を提案する。特徴処理から歴史的文脈を分離することで、従来の再帰的および非再帰的モデルと比較して、顕著に少ないパラメータ数と高速な推論を実現しながら、最先端のPSNRおよびSSIMスコアを達成した。

ABSTRACT

Recently, several deep learning-based image super-resolution methods have been developed by stacking massive numbers of layers. However, this leads too large model sizes and high computational complexities, thus some recursive parameter-sharing methods have been also proposed. Nevertheless, their designs do not properly utilize the potential of the recursive operation. In this paper, we propose a novel, lightweight, and efficient super-resolution method to maximize the usefulness of the recursive architecture, by introducing block state-based recursive network. By taking advantage of utilizing the block state, the recursive part of our model can easily track the status of the current image features. We show the benefits of the proposed method in terms of model size, speed, and efficiency. In addition, we show that our method outperforms the other state-of-the-art methods.

研究の動機と目的

• 既存の再帰的超解像ネットワークが特徴表現と履歴状態の追跡を混同することで生じる非効率性を是正すること。
• 画像品質を損なわず、深層超解像ネットワークにおけるモデルの複雑さと計算コストを低減すること。
• 専用のブロック状態を用いて再帰的状態を主な特徴処理パスから分離することで、特徴学習を向上させること。
• プログレッシブローディングなどのリアルタイム応用を可能にするため、段階的な画像生成を可能とすること。
• 小さなモデルサイズを維持しながら、PSNRおよびSSIMで最先端の性能を達成すること。

提案手法

• 再帰ブロック内に、主な特徴マップとは別個のメモリユニットとしてブロック状態を導入し、履歴情報を格納する。
• 再帰ユニットを設計して、入力特徴量とブロック状態を並列に処理し、現在の特徴マップに基づいてブロック状態を更新する。
• 再帰ブロック内に残差接続を採用することで、学習の安定化と特徴の効果的伝搬を向上させる。
• 複数の再帰ステップを経て、段階的に洗練された出力を生成するプログレッシブアップサンプリング戦略を採用する。
• 再帰層間でパラメータ共有を適用することで、モデルサイズを最小限に抑えつつ表現力は維持する。
• 最終出力生成を再帰的状態から分離することで、ネットワークが状態管理に注力するのではなく、特徴の洗練に集中できるようにする。

実験結果

リサーチクエスチョン

• RQ1 再帰ネットワークに専用のブロック状態を導入することで、特徴表現の向上とモデル複雑度の低減が可能になるか？
• RQ2 再帰的状態を特徴処理パスから分離することで、画像品質と推論速度にどのような影響を与えるか？
• RQ3 軽量な再帰アーキテクチャが、より深く大きなモデルを上回る性能を発揮できる程度はどの程度か？
• RQ4 再帰ネットワークは段階的な画像生成が可能か？これによりプログレッシブローディングなどの応用が可能になるか？
• RQ5 提案されたブロック状態機構は、既存の再帰的および非再帰的手法と比較して、より高いPSNRおよびSSIMスコアを達成できるか？

主な発見

• Set5データセット（×2スケール）において、BSRNは34.32 dBの最高PSNRを達成し、CARN や DSRN と比較してすべての手法を上回った。
• Urban100データセット（×2スケール）では、PSNRが32.14 dB、SSIMが0.8983を記録し、DRCN や DRRN、DSRN を上回ったが、DRCN よりも70%少ないパラメータ数を用いた。
• ×2スケールでは779Kパラメータ、×4スケールでは742Kパラメータに留まり、DRCN（1.77M）やDSRN（約1.2M）と比較して顕著に少ない一方で、優れた性能を維持した。
• 図6による視覚的確認で、BSRNは他の手法と比較して、特にUrban100データセットの複雑なシーンにおいて、よりシャープなテクスチャと少ないアーティファクトを生成した。
• プログレッシブな画像生成が可能であり、中間出力をリアルタイムまたは帯域制限のある応用で利用可能である。
• CARN（1.1Mパラメータ）と同等またはそれ以上の性能を、より小さなモデルサイズ（×2スケールで779K）で達成した。これは、ブロック状態設計の効率性を裏付けるものである。