[論文レビュー] Image Super-Resolution via RL-CSC: When Residual Learning Meets Convolutional Sparse Coding

Menglei Zhang, Zhou Liu+1 more|arXiv (Cornell University)|Dec 31, 2018

Advanced Image Processing Techniques参考文献 36被引用数 5

ひとこと要約

本稿では、リーマン・リカージブ・スパース・コーディング（RL-CSC）を提案する。これは、LISTAアルゴリズムを畝状に再帰的フレームワークに拡張することで、残差学習と畝状スパースコーディング（CSC）を統合した、画像超解像のための新規モデルである。残差接続と反復的CSC推論を活用することで、30層のモデルとして最先端の性能を達成しており、Set5などのベンチマークデータセットにおいて、DNN（52層）やMemNet（80層）といったより深いモデルを上回るPSNRと視覚的品質を実現した。

ABSTRACT

We propose a simple yet effective model for Single Image Super-Resolution (SISR), by combining the merits of Residual Learning and Convolutional Sparse Coding (RL-CSC). Our model is inspired by the Learned Iterative Shrinkage-Threshold Algorithm (LISTA). We extend LISTA to its convolutional version and build the main part of our model by strictly following the convolutional form, which improves the network's interpretability. Specifically, the convolutional sparse codings of input feature maps are learned in a recursive manner, and high-frequency information can be recovered from these CSCs. More importantly, residual learning is applied to alleviate the training difficulty when the network goes deeper. Extensive experiments on benchmark datasets demonstrate the effectiveness of our method. RL-CSC (30 layers) outperforms several recent state-of-the-arts, e.g., DRRN (52 layers) and MemNet (80 layers) in both accuracy and visual qualities. Codes and more results are available at https://github.com/axzml/RL-CSC.

研究の動機と目的

• スパースコーディングとディープラーニングの原則を統合することで、単一画像超解像（SISR）のためのより解釈可能で効率的なディープラーニングモデルの構築を目的とする。
• 従来のモデルが理論的解釈性に欠け、深層アーキテクチャにおいて訓練の不安定性を示すという限界を是正することを目的とする。
• 残差学習と畝状スパースコーディングを再帰的で微分可能フレームワークに統合することで、深層ネットワークの性能と収束性を向上させることを目的とする。
• 既存のディープネットワークと比較して、計算およびメモリのオーバーヘッドを低減しながら、画像再構成品質を維持または向上させることを目的とする。

提案手法

• 本モデルは、空間的一致性と解釈可能性を維持するために、畝状に再帰的形に拡張された学習済みイテレーティブ・シュリンク・スレッディング・アルゴリズム（LISTA）に基づいている。
• 畝状スパースコーディング（CSC）は、低解像度特徴マップから高周波成分を学習するために再帰的に適用され、各反復でスパース表現が精錬される。
• 残差学習は、現在の特徴マップと前の特徴マップの差分を学習することで組み込まれ、パラメータの追加なしに深層ネットワークを構築可能となる。
• すべての層が微分可能で、空間的位置でパラメータ共有が行われるため、バックプロパゲーションを用いたエンドツーエンドの学習が可能である。
• バッチ正規化層を回避することで、メモリ消費量と計算コストを低減し、訓練の安定性を向上させている。
• 再帰回数は固定（K=15～30）であり、パラメータの追加なしに再帰深さを増すことで性能が向上することが示された。

実験結果

リサーチクエスチョン

• RQ1 残差学習と畝状スパースコーディングを統合することで、解釈可能で深いSISRモデルを構築可能か？
• RQ2 LISTAを畝状で再帰的フレームワークに拡張することで、画像再構成品質と訓練安定性が向上するか？
• RQ3 パラメータを追加せずに再帰深さを増すことで、モデルの複雑さを増すことなく性能を向上させられるか？
• RQ4 DRRN や MemNet といった最先端ネットワークと比較して、提案されたRL-CSCモデルの性能と効率性はいかがなものか？

主な発見

• 30層のRL-CSCは、×3スケールでSet5において34.02 dBのPSNRを達成し、DNN（52層）やMemNet（80層）を上回った。
• 664kパラメータのVDSRと比較して、592kパラメータのモデルが、Set5の×3スケールで33.78 dBのPSNRを達成し、VDSRの33.66 dBを上回った。
• 残差学習を用いない訓練では収束せず、PSNRが約6.54 dBに留まり、残差接続が深層学習を可能にする上で極めて重要な役割を果たしていることが示された。
• バッチ正規化層が存在しないため、DRRNと比較してGPUメモリを著しく削減した（同じバッチサイズで4,955 MB 対 9,263 MB）。
• 再帰深さを15から30に増やすことで、Set5の×3スケールでPSNRが33.61 dBから34.02 dBに向上し、追加パラメータなしに性能向上が確認された。
• Titan Xp GPU上で288×288の画像を0.15秒で処理可能であり、効率的な推論が可能であることが示された。