[論文レビュー] Learning Frequency-aware Dynamic Network for Efficient Super-Resolution

Wenbin Xie, Dehua Song+4 more|arXiv (Cornell University)|Mar 15, 2021

Advanced Image Processing Techniques参考文献 35被引用数 6

ひとこと要約

本稿では、学習可能なDCTベースのマスク予測器を用いて、低周波数領域には軽量な演算を、高周波数領域には重い演算を動的に割り当てることで、効率的な単一画像超解像のための周波数に配慮した動的ネットワーク（FADN）を提案する。本手法は、複数のベンチマークで最先端の性能を維持しながら、FLOPsを約50％削減する。

ABSTRACT

Deep learning based methods, especially convolutional neural networks (CNNs) have been successfully applied in the field of single image super-resolution (SISR). To obtain better fidelity and visual quality, most of existing networks are of heavy design with massive computation. However, the computation resources of modern mobile devices are limited, which cannot easily support the expensive cost. To this end, this paper explores a novel frequency-aware dynamic network for dividing the input into multiple parts according to its coefficients in the discrete cosine transform (DCT) domain. In practice, the high-frequency part will be processed using expensive operations and the lower-frequency part is assigned with cheap operations to relieve the computation burden. Since pixels or image patches belong to low-frequency areas contain relatively few textural details, this dynamic network will not affect the quality of resulting super-resolution images. In addition, we embed predictors into the proposed dynamic network to end-to-end fine-tune the handcrafted frequency-aware masks. Extensive experiments conducted on benchmark SISR models and datasets show that the frequency-aware dynamic network can be employed for various SISR neural architectures to obtain the better tradeoff between visual quality and computational complexity. For instance, we can reduce the FLOPs of SR models by approximate 50% while preserving state-of-the-art SISR performance.

研究の動機と目的

• モバイルデバイスにおけるディープな超解像モデルの高い計算コストに対処すること。
• 視覚的品質にあまり寄与しない低周波数および中周波数画像領域の処理における計算の冗長性を低減すること。
• DCTドメイン解析を用いて周波数コンテンツに基づいて計算を割り当てる動的ネットワークの設計。
• 固定された手作業で作成されたしきい値に依存せずに、周波数に配慮したルーティングマスクのエンドツーエンド学習を可能にすること。
• 多様なSISRアーキテクチャにおいて、顕著にFLOPsを削減しながら高い画像品質を維持すること。

提案手法

• 周波数に配慮した動的ネットワーク（FADN）は、学習可能なマスク予測器を用いて入力特徴を複数の周波数ベースのブランチに分割する。
• マスク予測器は、手作業で作成されたDCTベースの周波数マスクとSISRタスクからの再構成損失を用いてエンドツーエンドで訓練される。
• 低周波成分は軽量な畳み込み層で処理され、高周波成分は重い演算が使用される。
• DCTドメインが初期の周波数マスクのための監視に使用され、モデルが意味のある周波数分割を学習できるようにする。
• 予測器は入力およびブロックごとに動的に分割しきい値を調整し、固定またはランダムなマスクを避ける。
• 本フレームワークはブランチ数を可変にでき、既存のSISRアーキテクチャに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 視覚的品質の低下を伴わずに、低周波数および中周波数画像領域における計算の冗長性を効果的に低減できるか？
• RQ2 学習可能なマスク予測器は、手作業で作成されたDCTベースの周波数マスクを上回る性能を示せるか？
• RQ3 周波数コンテンツに基づく動的計算割り当ては、SISRモデルにおけるFLOPsと品質のトレードオフを改善するか？
• RQ4 提案されたFADNは、異なるSISRアーキテクチャに普遍的に適用可能で、一貫した効率的向上をもたらすか？
• RQ5 マスク予測器の数とブランチ数の変更が、性能および計算効率に与える影響は何か？

主な発見

• 提案されたFADNは、複数のSISRモデルにおいてFLOPsを約50％削減しながら、ベンチマークデータセットで最先端の性能を維持する。
• ×2スケールにおいて、Set5ではPSNRが37.90、Urban100では31.85を達成し、元のモデルと同等またはそれを上回る性能を示す。
• 学習可能な周波数マスクは、ランダムおよび固定DCTベースのマスクを上回り、収束が早く、精度も高い。
• すべてのブロックに共通のマスク予測器を使用した場合、ブロックごとの予測器に比べて性能が劣り、適応的でブロック固有のルーティングの必要性を確認する。
• 3ブランチのFADNが、性能とストレージコストのバランスが最良であり、2および4ブランチのバージョンを上回る。
• 混同行列と可視化結果から、学習されたマスクはDCTベースの分布に近く、より高い精度を得るために境界を適応的に精緻化していることが示された。