[論文レビュー] Revisiting RCAN: Improved Training for Image Super-Resolution

Zudi Lin, Prateek Garg+7 more|arXiv (Cornell University)|Jan 27, 2022

Advanced Image Processing Techniques被引用数 47

ひとこと要約

本論文は、RCANに現代的な訓練戦略を適用することで、モデルが多くの後のCNNベースSR手法に対して、最小限のアーキテクチャ変更で一致または上回ることを示し、過少適合を主なボトルネックとして明らかにしている。

ABSTRACT

Image super-resolution (SR) is a fast-moving field with novel architectures attracting the spotlight. However, most SR models were optimized with dated training strategies. In this work, we revisit the popular RCAN model and examine the effect of different training options in SR. Surprisingly (or perhaps as expected), we show that RCAN can outperform or match nearly all the CNN-based SR architectures published after RCAN on standard benchmarks with a proper training strategy and minimal architecture change. Besides, although RCAN is a very large SR architecture with more than four hundred convolutional layers, we draw a notable conclusion that underfitting is still the main problem restricting the model capability instead of overfitting. We observe supportive evidence that increasing training iterations clearly improves the model performance while applying regularization techniques generally degrades the predictions. We denote our simply revised RCAN as RCAN-it and recommend practitioners to use it as baselines for future research. Code is publicly available at https://github.com/zudi-lin/rcan-it.

研究の動機と目的

• アーキテクチャの変更よりも訓練戦略がRCANのSR向上を推進するかを調査する。
• RCANが標準SR訓練設定で過不足適合のどちらに制約されているかを特定する。
• 最小限のアーキテクチャ変更でRCANの性能を強化する実用的で拡張性のある訓練プロトコル（RCAN-it）を提供する。

提案手法

• 視覚タスクの現代的な訓練技術と正則化手法を調査する。
• RCANに対してLambオプティマイザとCosine annealingを組み合わせた大規模バッチ訓練を適用する。
• RCANでReLUをSiLU活性化に置換し影響を評価する。
• 長期訓練、より大きなパッチのファインチューニング、FP16分析、選択的正則化を活用して効果を検討する。
• SRスケール間でウェームスタートを用いて重みを転移する（x2からx3/x4へ）。
• 上流限界とデータ/領域効果を評価するアブレーション研究とオラクル分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 RCANの性能向上は主に訓練によって実現可能で、アーキテクチャの変更によるものではないと言えるか？
• RQ2 標準的なSR訓練設定で、RCANは過学習よりも過少適合によって制約されているか？
• RQ3 一般的なベンチマークにおいて、RCANにとって最良のSR性能を得る訓練戦略の組み合わせは何か？

主な発見

• RCAN-itはx2 SRでManga109で39.88 dB PSNRを達成し、RCANより0.44 dB向上、最近のCNN/SR手法と同等かそれ以上の性能。
• 自己アンサンブルを用いると、RCAN-itは40.04 dB PSNRに達し、自己アンサンブルの有無を問わずすべての既存手法を上回る。
• 256のバッチサイズとLambdaオプティマイザ、コサインスケジューリングを組み合わせた大規模バッチ訓練は、性能を維持しつつ約77%の学習時間短縮を実現。
• 長期訓練と大きいパッチのファインチューニングはSet5, Set14, B100, Urban100, Manga109のPSNRを一貫して改善し、RCANにおける過適合より過少適合を示唆する。
• 認識で有効な正則化技術（強化拡張、Mixup、確率的深さ）は、SRにおけるRCANの性能を一般的には低下させ、ドメイン特有の訓練ニーズを強調する。
• SRスケール間でのウェームスタート（x2からx3/x4）と尾部モジュールのファインチューニングは、強力な性能を維持しつつ学習コストを大幅に削減する。