[論文レビュー] Exploring Sparsity in Image Super-Resolution for Efficient Inference

Longguang Wang, Xiaoyu Dong+5 more|arXiv (Cornell University)|Jun 17, 2020

Advanced Image Processing Techniques参考文献 48被引用数 15

ひとこと要約

本稿では、空間的およびチャネル的マスクを学習することで、画像超解像における不要な計算を動的にプルーニングする、スパースマスクスーパー解像（SMSR）を提案する。この手法により、エッジやテクスチャなどの「重要」とされる領域や、冗長なチャネルを特定し、推論時にスパース畳み込みを適用することで、×2/×3/×4の超解像においてそれぞれ41%/33%/27%のFLOPs削減を達成しながら、最先端の性能を維持する。

ABSTRACT

Current CNN-based super-resolution (SR) methods process all locations equally with computational resources being uniformly assigned in space. However, since missing details in low-resolution (LR) images mainly exist in regions of edges and textures, less computational resources are required for those flat regions. Therefore, existing CNN-based methods involve redundant computation in flat regions, which increases their computational cost and limits their applications on mobile devices. In this paper, we explore the sparsity in image SR to improve inference efficiency of SR networks. Specifically, we develop a Sparse Mask SR (SMSR) network to learn sparse masks to prune redundant computation. Within our SMSR, spatial masks learn to identify "important" regions while channel masks learn to mark redundant channels in those "unimportant" regions. Consequently, redundant computation can be accurately localized and skipped while maintaining comparable performance. It is demonstrated that our SMSR achieves state-of-the-art performance with 41%/33%/27% FLOPs being reduced for x2/3/4 SR. Code is available at: https://github.com/LongguangWang/SMSR.

研究の動機と目的

• モバイルおよびエッジデバイスにおける深層畳み込みニューラルネットワークベースの超解像モデルの高い計算コストを軽減すること。
• 平坦な領域はテクスチャやエッジが豊富な領域よりも計算量が少ないため、画像超解像における固有のスパarsityを活用すること。
• 学習可能なマスクを用いて、細粒度なレベルで不要な計算を動的にスキップする手法を開発すること。
• 顕著に削減されたFLOPsと向上した推論効率を実現しつつ、最先端の性能を達成すること。
• 学習ベースのマスクが勾配に基づくマスクなどのヒューリスティック手法を上回ることを示すこと。

提案手法

• 空間的マスク（重要な画像領域を特定）とチャネル的マスク（重要でない領域内の冗長なチャネルを特定）を学習する、スパースマスクSR（SMSR）ネットワークを提案する。
• 訓練中に微分可能なソフトマスクを実現するため、Gumbel-Softmaxトリックを用いることで、エンドツーエンド最適化が可能になる。
• 推論時にスパース畳み込み演算を適用し、マスクされた領域およびチャネルでの計算をスキップする。
• 空間的およびチャネル的マスクを統合的に活用することで、不要な計算の細粒度な局所化を可能にする。
• 再構成品質を維持するため、高重要度領域に焦点を当てたマスク付き損失関数を用いてネットワークを訓練する。
• 深層層において重要領域に焦点を当てるプログレッシブアテンションメカニズムを採用し、特徴表現を強化する。

実験結果

リサーチクエスチョン

• RQ1 画像超解像におけるスパarsityを活用することで、性能を損なわず計算コストを削減できるか？
• RQ2 学習可能な空間的およびチャネル的マスクは、勾配に基づくマスクなどのヒューリスティック手法を上回れるか？
• RQ3 動的プルーニングにより、最先端のPSNR性能を維持したまま、どの程度FLOPsを削減できるか？
• RQ4 空間的およびチャネル的マスクの併用は、不要な計算の細粒度な局所化をどのように向上させるか？
• RQ5 既存の軽量SRネットワークと比較して、提案手法はより優れた効率-性能トレードオフを達成できるか？

主な発見

• SMSRは、×2、×3、×4の超解像において、それぞれ41%、33%、27%のFLOPs削減を達成しながら、最先端のPSNR性能を維持した。
• ×2超解像のSet14データセットにおいて、SMSRはパラメータ数を38%削減し、FLOPsを41%削減したにもかかわらず、CARNを上回るPSNRを達成した。
• FLOPsが同等（131.6G vs. 127.7G）であるにもかかわらず、SMSRはIDNよりも顕著に高いPSNRを達成しており、優れた効率-性能トレードオフを示した。
• 勾配に基づくマスクを用いたバージョンは、学習ベースのマスクと比較して顕著な性能低下（例：33.52 vs. 33.33/33.30 PSNR）を示し、学習ベースのマスクの優位性を確認した。
• Urban100および実世界の画像における視覚的比較では、SMSRはSOTA手法と比較して、より少ないアーティファクトと優れた知覚的品質を実現した。
• モバイルデバイス上での実験により、SMSRは顕著な高速化を達成し、実世界のエッジデプロイメントにおける実用性を示した。