[論文レビュー] Towards Compact Single Image Super-Resolution via Contrastive Self-distillation

Yanbo Wang, Shaohui Lin+5 more|arXiv (Cornell University)|May 25, 2021

Advanced Image Processing Techniques参考文献 32被引用数 5

ひとこと要約

本稿では、単一画像超解像（SISR）モデルの同時圧縮および高速化を目的として、対照的自己蒸留（CSD）フレームワークを提案する。教師ネットワークからチャネルスプリッティングされた学生ネットワーク（CSSR-Net）を構築し、明示的な知識伝達のための新しい対照的損失を適用することで、CSDはEDSRで最大4倍のモデル圧縮と1.77倍の推論速度向上を達成した。その際、PSNRは0.13 dBの低下、SSIMは0.0039の損失にとどまり、×4スケールで顕著な品質損失なしに実現された。

ABSTRACT

Convolutional neural networks (CNNs) are highly successful for super-resolution (SR) but often require sophisticated architectures with heavy memory cost and computational overhead, significantly restricts their practical deployments on resource-limited devices. In this paper, we proposed a novel contrastive self-distillation (CSD) framework to simultaneously compress and accelerate various off-the-shelf SR models. In particular, a channel-splitting super-resolution network can first be constructed from a target teacher network as a compact student network. Then, we propose a novel contrastive loss to improve the quality of SR images and PSNR/SSIM via explicit knowledge transfer. Extensive experiments demonstrate that the proposed CSD scheme effectively compresses and accelerates several standard SR models such as EDSR, RCAN and CARN. Code is available at https://github.com/Booooooooooo/CSD.

研究の動機と目的

• リソース制限のあるデバイスへの展開を制限する深層畳み込みニューラルネットワーク（CNN）ベースのSISRモデルの高い計算コストおよびメモリ消費を低減すること。
• 標準的な蒸留における暗黙的知識伝達の限界を克服し、圧縮された学生ネットワークにおける性能が最適でない問題を解決すること。
• 正例および負例を用いた対照的学習を用いて、明示的な知識伝達により圧縮されたSISRモデルの品質を向上させること。
• さまざまな既存のSISRアーキテクチャに適用可能な汎用的で実行時効率の高い圧縮および高速化手法を開発すること。

提案手法

• 事前学習済みの教師ネットワークから一部のチャネルを抽出することで、チャネルスプリッティング超解像ネットワーク（CSSR-Net）を構築し、直接的なモデル圧縮を可能にする。
• 学生（CSSR-Net）と教師ネットワークを再構成損失を用いて同時に学習させ、暗黙的知識伝達を実現する。
• VGG特徴空間におけるL1距離に基づく対照的損失を導入し、知識を明示的に伝達する：学生の出力を教師の出力に近づけ、負例（例：ぼやけた画像）から遠ざける。
• 教師出力を正例とし、合成されたぼやけた画像を負例として定義し、対照的目的関数を設定することで最適化空間を制約する。
• 教師の勾配を対照的損失から分離する動的更新戦略を適用し、性能の低下を防ぎ、教師の品質を維持する。
• トレーニングにおける性能と計算コストのバランスを考慮し、負例の数を最適化（10に設定）する。

実験結果

リサーチクエスチョン

• RQ1 対照的自己蒸留は、暗黙的蒸留を上回る性能向上を、圧縮されたSISRモデルに効果的にもたらすか？
• RQ2 対照的学習における負例の使用は、圧縮されたSISRネットワークにおける再構成画像の品質およびシャープネスにどのように影響するか？
• RQ3 自己蒸留を用いたSISRにおいて、モデル圧縮、推論速度、画像品質の最適なトレードオフは何か？
• RQ4 提案されたCSDフレームワークは、EDSR、RCAN、CARNといった異なるSISRアーキテクチャに一般化可能か？
• RQ5 対照的損失の定式化（例：L1ベース対比 vs. InfoNCE）が最終的なPSNRおよびSSIM性能に与える影響は何か？

主な発見

• 提案されたCSDフレームワークは、EDSRで最大4倍のモデル圧縮と1.77倍の速度向上を達成した。Urban100の×4超解像において、PSNRは0.13 dBの低下、SSIMは0.0039の損失にとどまった。
• DIV2Kデータセットでは、CSDベースのEDSR+は29.13 dBのPSNRと0.8416のSSIMを達成し、InfoNCEベースのCSD（29.10 dB、0.8402 SSIM）および知覚損失を用いたJ-Tを上回った。
• 対照的損失にL1距離を用いることで、InfoNCE損失よりも優れた結果が得られ、DIV2KとUrban100でそれぞれ0.0014および0.0041のSSIM向上が確認された。
• 自己蒸留を用いたCSSR-Netは、正例として真値HR画像のみを用いるベースラインを上回った。これは、教師ネットワークからの知識伝達が性能向上に寄与していることを示している。
• 教師の勾配を分離するCSDの更新戦略は、両ネットワークを同時に更新する戦略や再構成損失を削除する戦略と比較して、顕著な性能向上をもたらした。
• 負例の数を増やすことで性能は向上するが、メモリとトレーニングコストの増加に伴い、10個の負例が性能と効率のトレードオフにおいて最適であると判明した。