[論文レビュー] PAMS: Quantized Super-Resolution via Parameterized Max Scale

Huixia Li, Chenqian Yan+6 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Image Processing Techniques参考文献 43被引用数 11

ひとこと要約

本稿では、バッチ正規化のない超解像ネットワーク向けに、学習可能なパrameterized max scaleを用いて自己適応的に量子化範囲を設定する新規な量子化スキームPAMSを提案する。これにより、大きな動的範囲を有するモデルにおける誤差を低減する。PAMSを構造的知識伝達と組み合わせることで、Set5で32.124 dBのPSNRを達成し、2.42倍の圧縮率を実現し、フル精度ベースラインを上回る最先端の8ビット性能を達成した。

ABSTRACT

Deep convolutional neural networks (DCNNs) have shown dominant performance in the task of super-resolution (SR). However, their heavy memory cost and computation overhead significantly restrict their practical deployments on resource-limited devices, which mainly arise from the floating-point storage and operations between weights and activations. Although previous endeavors mainly resort to fixed-point operations, quantizing both weights and activations with fixed coding lengths may cause significant performance drop, especially on low bits. Specifically, most state-of-the-art SR models without batch normalization have a large dynamic quantization range, which also serves as another cause of performance drop. To address these two issues, we propose a new quantization scheme termed PArameterized Max Scale (PAMS), which applies the trainable truncated parameter to explore the upper bound of the quantization range adaptively. Finally, a structured knowledge transfer (SKT) loss is introduced to fine-tune the quantized network. Extensive experiments demonstrate that the proposed PAMS scheme can well compress and accelerate the existing SR models such as EDSR and RDN. Notably, 8-bit PAMS-EDSR improves PSNR on Set5 benchmark from 32.095dB to 32.124dB with 2.42$ imes$ compression ratio, which achieves a new state-of-the-art.

研究の動機と目的

• バッチ正規化のない超解像モデルにおける低ビット量子化による性能劣化を是正すること。
• 活性化関数および重みの大きな動的範囲に起因する量子化誤差を低減すること。
• モデル圧縮を通じて、リソース制限のあるデバイスへの高性能SRモデルの効率的デプロイを可能にすること。
• フル精度ネットワークからの構造的知識伝達により、量子化モデルの性能を向上させること。
• 固定またはヒューリスティックなスケーリング手法を凌駕する、学習可能で適応的な量子化範囲の開発

提案手法

• 活性化関数の量子化における上界を動的に調整できる、学習可能な切り捨てパrameter αを有するパラメータ化された最大スケール（PAMS）を導入する。
• PAMSをEDSRおよびRDNアーキテクチャの残差ブロックにおける重みおよび活性化に適用し、対称的量子化を可能にする。
• αを用いた微分可能なクラムプ関数を導入し、勾配ベース最適化が可能になるように、量子化前の活性化を制約する。
• ファインチューニング中にフル精度ネットワークと量子化ネットワークの特徴マップを一致させるために、構造的知識伝達（SKT）損失を採用する。
• 収束性と安定性を向上させるために、αを活性化統計の指数移動平均（EMA）で初期化する。
• SKT損失を用いて量子化ネットワークをファインチューニングし、表現能力を回復させ、量子化誤差を低減する。

実験結果

リサーチクエスチョン

• RQ1 学習可能で適応的な量子化範囲は、バッチ正規化のない低ビット超解像ネットワークにおける性能劣化を低減できるか？
• RQ2 PAMSは、固定最大値またはPACTスタイルの量子化と比較して、PSNRおよび視覚的品質でどのように差をつけるか？
• RQ3 構造的知識伝達は、特に低ビット幅における量子化SRモデルの性能をどの程度向上させるか？
• RQ4 αのEMAベース初期化は、ランダム初期化よりも収束性と性能に優れているか？
• RQ5 PAMSは、高い圧縮率と高速性を維持しつつ、8ビット量子化超解像で最先端の性能を達成できるか？

主な発見

• PAMS-EDSRは8ビット精度でSet5で32.124 dBのPSNRを達成し、元のフル精度EDSR（32.095 dB）を上回り、新たなSOTAを樹立した。
• 8ビットのPAMS-EDSRモデルは、最小限の精度低下で2.42倍のモデル圧縮比を達成した。
• SKT損失を用いたPAMS-EDSRは、4ビット精度のUrban100でPSNRを0.071 dB向上させ、低ビット性能の優位性を示した。
• EMAによるαの初期化は、すべてのデータセットおよびビット幅でランダム初期化よりも収束性と性能に優れた結果をもたらした。
• SKT損失は低ビット幅（例：4ビットのUrban100で0.071 dBの向上）においてより大きな性能向上をもたらし、低精度モデル向けの知識蒸留の有効性を示した。
• PAMSは、TensorFlow Liteの固定最大値量子化およびPACTよりもPSNRおよび視覚的品質で優れており、よりシャープなテクスチャと少ないアーティファクトを生成した。