[論文レビュー] Attentive Fine-Grained Structured Sparsity for Image Restoration

Junghun Oh, Heewon Kim+4 more|arXiv (Cornell University)|Apr 26, 2022

Advanced Image Processing Techniques被引用数 5

ひとこと要約

本稿では、効率的な画像復元を実現するための、階層別 N:M 構造的スパarsity比を動的に決定する新しい prune フレームワーク SLS（Searching for Layer-wise N:M Structured Sparsity）を提案する。各 prune 単位ごとに学習可能なスコアを導入し、複数の prune モデルにおける適応的推論を可能にすることで、超解像およびぼかし除去タスクにおいて、最先端の精度-効率トレードオフを達成し、複数のベンチマークで既存手法を上回る性能を発揮する。

ABSTRACT

Image restoration tasks have witnessed great performance improvement in recent years by developing large deep models. Despite the outstanding performance, the heavy computation demanded by the deep models has restricted the application of image restoration. To lift the restriction, it is required to reduce the size of the networks while maintaining accuracy. Recently, N:M structured pruning has appeared as one of the effective and practical pruning approaches for making the model efficient with the accuracy constraint. However, it fails to account for different computational complexities and performance requirements for different layers of an image restoration network. To further optimize the trade-off between the efficiency and the restoration accuracy, we propose a novel pruning method that determines the pruning ratio for N:M structured sparsity at each layer. Extensive experimental results on super-resolution and deblurring tasks demonstrate the efficacy of our method which outperforms previous pruning methods significantly. PyTorch implementation for the proposed methods is available at https://github.com/JungHunOh/SLS_CVPR2022.

研究の動機と目的

• 画像復元ネットワークにおける均一な prune 比の非効率性に起因する、層ごとの prune 敏感度のばらつきを是正すること。
• 各層ごとに最適な N:M 構造的スパarsity レベルを決定する手法を開発し、精度-効率トレードオフを改善すること。
• 入力の複雑さに基づいて、異なる計算コストを有する複数の prune モデルを組み合わせることで、柔軟な推論を可能にすること。
• 層全体に均一なスパarsityを仮定する従来の N:M prune 法の限界を克服し、柔軟性に欠ける点を解消すること。

提案手法

• N:M 構造的スパarsity を、重みの絶対値に基づく prune 単位に対応するスパーステンソル分解として定式化する。
• 各 prune 単位に学習可能なスコアを導入し、重要度が低い単位の優先的削除を可能にすることで、微分可能かつ効率的なスパarsity 学習を実現する。
• 微分可能な prune 目的関数を最適化することで、各層ごとの prune 比を最適化する階層別 N:M スパarsity 探索を実行する。
• 入力パッチの難易度を補助ネットワークで推定し、推論時に最も適した prune モデルを選択する適応的推論機構を導入する。
• 補助ネットワークがパッチ単位の MSE を予測し、計算コストと復元品質のバランスを取る。
• 事前学習段階と prune 段階を統合し、超解像（EDSR, CARN, RFDN）およびぼかし除去（DMPHN, SRN, residual UNet）モデルに本手法を適用する。

Figure 1 : Trade-off between image restoration performance (PSNR) vs computational costs (MACs) on super-resolution (top) and deblurring tasks (bottom). We compare our method to the magnitude-based filter pruning [ 28 ] and the existing methods on $N$ : $M$ sparsity (One-shot pruning [ 37 ] and SR-S

実験結果

リサーチクエスチョン

• RQ1 均一な prune 比と比較して、階層別 N:M 構造的スパarsity は画像復元における精度-効率トレードオフを改善できるか？
• RQ2 複数の prune モデルを用いた適応的推論は、異なる計算コスト制約下でも性能を向上させられるか？
• RQ3 各層ごとの異なる prune 比が、モデルの感受性および復元品質に与える影響は何か？
• RQ4 微分可能でマグニチュードに基づく prune 単位選択戦略は、N:M スパarsity 学習を効果的に導けるか？
• RQ5 本手法は、DIV2K、GOPRO、Urban100 などの多様な画像復元ベンチマークで性能を維持または向上できるか？

主な発見

• SLS は、マグニチュードベースのフィルタ prune 法および既存の N:M 構造的 prune 法（One-shot, SR-STE）を、超解像およびぼかし除去タスクの両方で上回る。
• GOPRO データセットでは、ぼかし除去タスクで 28.48/27.49/25.82 PSNR を達成し、ベースラインおよび先行手法を上回る。
• Urban100 における超解像タスクでは、わずか 260.58K MACs で 28.48 PSNR を達成し、高い効率性を示す。
• 適応的推論により、入力パッチの複雑さに応じてモデルを動的に選択することで、計算オーバーヘッドを低減しつつ PSNR を維持または向上できる。
• 異なる prune 比で学習されたモデルにより、実行時における計算予算の制御が柔軟に可能となり、効率性と精度のトレードオフを自在に調整できる。
• MSE 評価のための補助ネットワークは、HD 画像の場合にわずか 3.45 GMACs の追加オーバーヘッドしか発生せず、推論時の効果的なモデルパス選択を可能にする。

(a)