[論文レビュー] Knowledge Distillation based Degradation Estimation for Blind Super-Resolution

Bin Xia, Yulun Zhang+5 more|arXiv (Cornell University)|Nov 30, 2022

Advanced Image Processing Techniques被引用数 9

ひとこと要約

本稿では、教師ネットワークを用いて対応するHR/LR画像で訓練し、そのIDR知識を教師から学生ネットワークに知識蒸留することで、真の劣化ラベルが不要な暗黙の劣化表現（IDR）を学習する、KDSRと呼ばれる知識蒸留に基づくブラインドスーパーレゾリューションフレームワークを提案する。KDSRは、効率的なIDRベースのダイナミック畳み込みブロックを用いることで、複数の劣化タイプ、特に現実世界の複雑な劣化を含む、多様な劣化タイプにおいて最先端の性能を達成する。

ABSTRACT

Blind image super-resolution (Blind-SR) aims to recover a high-resolution (HR) image from its corresponding low-resolution (LR) input image with unknown degradations. Most of the existing works design an explicit degradation estimator for each degradation to guide SR. However, it is infeasible to provide concrete labels of multiple degradation combinations (e.g., blur, noise, jpeg compression) to supervise the degradation estimator training. In addition, these special designs for certain degradation, such as blur, impedes the models from being generalized to handle different degradations. To this end, it is necessary to design an implicit degradation estimator that can extract discriminative degradation representation for all degradations without relying on the supervision of degradation ground-truth. In this paper, we propose a Knowledge Distillation based Blind-SR network (KDSR). It consists of a knowledge distillation based implicit degradation estimator network (KD-IDE) and an efficient SR network. To learn the KDSR model, we first train a teacher network: KD-IDE$_{T}$. It takes paired HR and LR patches as inputs and is optimized with the SR network jointly. Then, we further train a student network KD-IDE$_{S}$, which only takes LR images as input and learns to extract the same implicit degradation representation (IDR) as KD-IDE$_{T}$. In addition, to fully use extracted IDR, we design a simple, strong, and efficient IDR based dynamic convolution residual block (IDR-DCRB) to build an SR network. We conduct extensive experiments under classic and real-world degradation settings. The results show that KDSR achieves SOTA performance and can generalize to various degradation processes. The source codes and pre-trained models will be released.

研究の動機と目的

• 複数成分からなる複雑な劣化（例：ぼやけ、ノイズ、JPEG）を扱う際、正確な真の劣化ラベルが得られない状況下で、明示的な劣化推定器を訓練する課題に対処すること。
• 劣化タイプの教師付き情報に依存しない、汎用性の高い暗黙の劣化表現（IDR）学習手法を開発すること。
• 軽量な学生ネットワークに蒸留されたIDR知識を活用することで、効率的かつ効果的なブラインドスーパーレゾリューションを実現すること。
• 抽出されたIDRを最大限に活用するための動的畳み込み機構を設計すること。

提案手法

• 教師ネットワーク（KD-IDE T）を、HRとLR画像のパッチペアで訓練し、入力されたLR画像から正確な暗黙の劣化表現（IDR）を抽出する。
• 学生ネットワーク（KD-IDE S）を、LR画像のみを入力として用い、教師のIDR出力を模倣するように知識蒸留により訓練することで、真の劣化ラベルの必要性を排除する。
• 知識蒸留損失を適用し、学生のIDRを教師のIDRと一致させる。分布マッチングのための主な損失関数として、Kullback-Leiblerダイバージェンスを用いる。
• 抽出されたIDRを用いて畳み込みフィルタを動的に変調する、IDRベースのダイナミック畳み込み残差ブロック（IDR-DCRB）を提案する。
• 学生ネットワークのIDR抽出能力を、さらに蒸留により精錬することで、多様な劣化プロセスにわたる頑健な一般化を可能にする。
• KDSRフレームワーク全体を、SRネットワークとKD-IDE学生ネットワークの両方を同時に最適化する形で、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 真の劣化ラベルが不要な状況下でも、知識蒸留により教師ネットワークから学生ネットワークへ暗黙の劣化表現を効果的に転送できるか？
• RQ2 蒸留されたIDRは、メトリック学習や明示的推定器に基づく手法と比較して、未観測の劣化タイプへの一般化性能を向上させるか？
• RQ3 LR画像のみで訓練された学生ネットワークは、対応するHR/LRデータで訓練された教師と同等の判別力を持つ劣化表現を抽出できるか？
• RQ4 IDRベースのダイナミック畳み込み機構は、標準的な残差ブロックと比較して、スーパーレゾリューション性能をどのように向上させるか？

主な発見

• KDSRは、クラシックな劣化ベンチマークおよび現実世界の劣化ベンチマークの両方で最先端の性能を達成し、PSNRおよびLPIPS指標において既存手法を上回る。
• 知識蒸留に用いたKullback-Leiblerダイバージェンス損失が最良の性能（Gaussian8カーネルを用いたUrban100では25.96 dBのPSNR）を示し、L1およびL2損失を上回る。
• t-SNE可視化により、学生ネットワーク（KDSR S）が教師のIDRから異なる劣化タイプを正しく分離して学習していることが確認され、非蒸留およびメトリック学習ベースのベースラインを上回る性能を示した。
• IDR-DCRBブロックは、劣化に敏感な特徴に基づいて畳み込みを動的に変調することで、再構成品質を著しく向上させ、効率性と正確性の両方を向上させた。
• KDSRは、ぼやけやノイズ、JPEG圧縮を含む複雑な現実世界の劣化に対しても、多様な劣化の組み合わせに対して効果的に一般化でき、頑健性を示した。
• アブレーションスタディにより、知識蒸留が、教師付き情報なしに高品質なIDR抽出を実現するための不可欠な要素であることが確認された。