[論文レビュー] Learning with Privileged Information for Efficient Image Super-Resolution

Won-Kyung Lee, Junghyup Lee+2 more|arXiv (Cornell University)|Jul 15, 2020

Advanced Image Processing Techniques参考文献 14被引用数 5

ひとこと要約

本稿では、効率的な超解像ネットワーク（例：FSRCNN）の性能を顕著に向上させるために、真値の高解像度（HR）画像を特権情報として活用する、新しい知識蒸留フレームワークを提案する。教師ネットワークを高解像度画像から劣化プロセスを学習させ、中間特徴を学生ネットワークに転送することで、計算コストを最小限に抑えつつ、複数のベンチマークで最大0.15 dBのPSNR向上を達成し、最先端の性能を実現した。

ABSTRACT

Convolutional neural networks (CNNs) have allowed remarkable advances in single image super-resolution (SISR) over the last decade. Most SR methods based on CNNs have focused on achieving performance gains in terms of quality metrics, such as PSNR and SSIM, over classical approaches. They typically require a large amount of memory and computational units. FSRCNN, consisting of few numbers of convolutional layers, has shown promising results, while using an extremely small number of network parameters. We introduce in this paper a novel distillation framework, consisting of teacher and student networks, that allows to boost the performance of FSRCNN drastically. To this end, we propose to use ground-truth high-resolution (HR) images as privileged information. The encoder in the teacher learns the degradation process, subsampling of HR images, using an imitation loss. The student and the decoder in the teacher, having the same network architecture as FSRCNN, try to reconstruct HR images. Intermediate features in the decoder, affordable for the student to learn, are transferred to the student through feature distillation. Experimental results on standard benchmarks demonstrate the effectiveness and the generalization ability of our framework, which significantly boosts the performance of FSRCNN as well as other SR methods. Our code and model are available online: https://cvlab.yonsei.ac.kr/projects/PISR.

研究の動機と目的

• 深く畳み込みニューラルネットワーク（CNN）に基づく超解像手法の高い計算コストとメモリ要件を緩和すること。
• モデルの複雑さを増さずに、FSRCNNのような軽量でハードウェアに優しいネットワークの性能を向上させること。
• 真値の高解像度画像を訓練時に特権情報として用いるという、SISR分野における画期的なアプローチを検討すること。
• 教師ネットワークから学生ネットワークへ高周波成分および微細ディテールの知識を転送する蒸留フレームワークを開発すること。
• VDSR、IDN、CARNを含む、複数のSISRアーキテクチャへの汎用性を実証すること。

提案手法

• 教師-学生の蒸留設定を採用し、教師ネットワークを低解像度（LR）および高解像度（HR）画像の両方で学習させ、HR画像を特権情報として活用する。
• 教師のエンコーダーは、LR画像の分布を模倣するための模倣損失を用いて学習し、HRからLRへの劣化プロセスをモデル化する。
• 教師ネットワークのデコーダーは、圧縮された特徴からHR画像を再構築し、中間特徴マップを学生ネットワークと共有することで特徴蒸留を実現する。
• 学生ネットワークは、教師のデコーダーと同一のアーキテクチャであり、これらの蒸留された特徴から学習することで再構築品質を向上させる。
• 学生ネットワークを訓練済みのデコーダー重みで初期化することで、収束が速まり、性能が向上する。
• 本手法は、FSRCNN、VDSR、IDN、CARNなど、さまざまなSISRアーキテクチャに適用可能であり、広範な適用性を示している。

実験結果

リサーチクエスチョン

• RQ1 真値のHR画像を特権情報として効果的に活用することで、SISRの性能向上が可能か？
• RQ2 HR画像で学習された教師ネットワークの内部特徴を蒸留することで、軽量な学生ネットワークの性能が向上するか？
• RQ3 従来の知識蒸留および既存のSISR手法と比較して、PSNRと効率性の観点で本フレームワークはどのように差をつけるか？
• RQ4 本手法は、低複雑性を目的とした多様なSISRアーキテクチャにおいて、どの程度性能を向上できるか？
• RQ5 本フレームワークは、異なるスケール要因およびベンチマークデータセットに対しても汎用性を示すか？

主な発見

• 本フレームワークは、2×スケールのSet5データセットにおいて、FSRCNN-LのPSNRを0.06 dB向上させ、PSNR/SSIMは37.65/31.92を達成した。
• VDSRは、2×スケールのSet5データセットでPSNRを0.14 dB向上させ、PSNR/SSIMは37.77/32.00に到達した。
• IDNは、2×スケールのSet5データセットで、37.93/32.14のPSNR/SSIMを達成し、元の性能より0.10 dB向上させ、新たな最先端性能を記録した。
• CARNは、2×スケールのSet5データセットでPSNRを0.07 dB向上させ、PSNR/SSIMは37.82/32.08を達成した。
• Urban100データセットでは、本フレームワークの学生モデルが、アーチファクトを低減し、微細なテクスチャーやエッジをベースラインより正確に再構築していることが、視覚的比較で確認された。
• 図4のパラメータ数 vs. 演算量 vs. PSNRのトレードオフプロットから、モデル効率性と性能の良好なバランスが実現された。