[論文レビュー] Learning Sparse Masks for Efficient Image Super-Resolution

Longguang Wang, Xiaoyu Dong+5 more|arXiv (Cornell University)|Jun 17, 2020

Advanced Image Processing Techniques参考文献 22被引用数 5

ひとこと要約

本稿では、入力画像に応じて空間的およびチャネル的マスクを学習することで、余分な計算を能動的に削減する、効率的な画像超解像のためのスパースマスク学習フレームワークSMSRを提案する。平らな領域では計算を飛ばし、エッジ付近では詳細を保持することで、x2、x3、x4超解像タスクにおいて27%〜41%のFLOPs削減を達成し、最先端の性能を実現する。

ABSTRACT

Current CNN-based super-resolution (SR) methods process all locations equally with computational resources being uniformly assigned in space. However, since highfrequency details mainly lie around edges and textures, less computational resources are required for those flat regions. Therefore, existing CNN-based methods involve much redundant computation in flat regions, which increases their computational cost and limits the applications on mobile devices. To address this limitation, we develop an SR network (SMSR) to learn sparse masks to prune redundant computation conditioned on the input image. Within our SMSR, spatial masks learn to identify important locations while channel masks learn to mark redundant channels in those unimportant regions. Consequently, redundant computation can be accurately located and skipped while maintaining comparable performance. It is demonstrated that our SMSR achieves state-of-the-art performance with 41%/33%/27% FLOPs being reduced for x2/3/4 SR.

研究の動機と目的

• 畳み込みニューラルネットワークベースの超解像ネットワークにおける余分な計算を、入力に依存するコンテンツに応じてリソースの割り当てを適応させることで削減すること。
• 特に平坦な画像領域において、すべての空間的位置に均等に計算を行う非効率性を是正すること。
• 性能を損なわず、FLOPsを最小限に抑えることで、モバイルデバイスへの効率的なデプロイを可能にすること。
• 動的に重要な空間的およびチャネル的特徴を同定し、削除する学習可能なメカニズムの開発

提案手法

• エッジやテクスチャなど、計算が優先される重要な画像領域を特定するため、空間的マスクを学習する。
• 重要な空間領域でない領域における冗長なチャネルを抑制することで、特徴マップの計算を削減する。
• 微分可能マッキング機構を用いることで、標準的なバックプロパゲーションを用いたエンドツーエンドの学習が可能になる。
• マスクは入力画像に条件付けられており、動的でコンテンツに依存する計算の削減が可能になる。
• マスク領域およびチャネルでの前方伝搬をスキップすることでFLOPsを削減し、性能の低下は最小限に抑える。
• 標準的なSRバックボーンにスパースマスクを統合することで、既存のアーキテクチャとの互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 入力コンテンツに応じた適応的計算の削減は、性能の劣化を伴わずに効率性を向上させることができるか？
• RQ2 空間的およびチャネル的マスクは、平坦な画像領域における冗長な計算をどれほど効果的に同定・削除できるか？
• RQ3 最先端のSR性能を維持しつつ、FLOPsをどの程度削減できるか？
• RQ4 提案されたマッキング機構は、さまざまなスケーリング要因（x2、x3、x4）に一般化できるか？
• RQ5 固定または静的プルーニング戦略と比較して、動的で入力に依存するマスク学習はどのように優れているか？

主な発見

• x2超解像において、SMSRは最先端の性能を維持しながらFLOPsを41%削減した。
• x3超解像では、ベースライン手法と比較して33%のFLOPs削減を達成した。
• x4超解像では、FLOPsを27%削減し、スケーリング要因にわたるスケーラビリティを示した。
• 顕著なFLOP削減にもかかわらず、PSNRおよびSSIMスコアが競争力を持つ結果を示した。
• 学習されたマスクは、エッジやテクスチャのような高周波数領域を効果的に同定し、平坦領域では計算をスキップした。
• アブレーションスタディにより、空間的およびチャネル的マスクの両方が効率性の向上に顕著な貢献をしていることが確認された。