[論文レビュー] Efficient Deep Neural Network for Photo-realistic Image Super-Resolution

Namhyuk Ahn, Byungkon Kang+1 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本稿では、段階的残差接続、グループ畳み込み、再帰的特徴融合を組み合わせることで、高 perceptual 質量と低計算コストを両立する軽量な深層ニューラルネットワーク、PCARN を提案する。モデルは、特に CPU 上で、最新の手法よりも顕著に優れた perceptual 質量（LPIPS および NIMA で測定）と効率（MultAdds）を達成しており、PSNR および SSIM スコアにおいても競争力を持つ。

ABSTRACT

Recent progress in deep learning-based models has improved photo-realistic (or perceptual) single-image super-resolution significantly. However, despite their powerful performance, many methods are difficult to apply to real-world applications because of the heavy computational requirements. To facilitate the use of a deep model under such demands, we focus on keeping the network efficient while maintaining its performance. In detail, we design an architecture that implements a cascading mechanism on a residual network to boost the performance with limited resources via multi-level feature fusion. In addition, our proposed model adopts group convolution and recursive schemes in order to achieve extreme efficiency. We further improve the perceptual quality of the output by employing the adversarial learning paradigm and a multi-scale discriminator approach. The performance of our method is investigated through extensive internal experiments and benchmarks using various datasets. Our results show that our models outperform the recent methods with similar complexity, for both traditional pixel-based and perception-based tasks.

研究の動機と目的

• ディープラーニングベースの画像超解像において、高 perceptual 質量と計算効率のギャップを埋める。
• モバイルデプロイや低遅延ストリーミングといった実世界の制約下でも強力なパフォーマンスを維持できる軽量ネットワークを設計する。
• 深さや幅が大きいアーキテクチャによる遅延が深刻な問題となる既存の軽量モデルの限界を克服する。
• 敵対的学習とマルチスケールディスクライマを用いて、ピクセルベースの指標を超えた perceptual 質量を向上させる。
• MultAdds を最小限に抑えることで実用的な効率を確保し、高品質な出力を維持する。

提案手法

• 局所的およびグローバルなレベルで複数のレイヤー間で特徴を統合する段階的残差ネットワーク（PCARN）を提案し、特徴表現を強化する。
• グループ畳み込みと再帰的スキームを統合して、モデルパラメータ数と計算複雑性を低減する。
• GANフレームワーク内でマルチスケールディスクライマを採用し、高周波数の詳細を捉えることで perceptual 質量を向上させる。
• 段階的ジェネレータアーキテクチャを採用し、特徴を段階的に処理することで、少ないパラメータ数でより深い特徴学習を実現する。
• 人間の知覚に一致するように、perceptual ロスと敵対的ロスを適用し、リアルさを向上させる。
• MultAdds を最小限に抑えることで推論速度を最適化し、CPU および GPU の両方で評価することで、実世界のデプロイ制約を反映する。

実験結果

リサーチクエスチョン

• RQ1 軽量なディープラーニングモデルは、計算効率を犠牲にせずに、単一画像超解像において最先端の perceptual 質量を達成できるか？
• RQ2 複数のレイヤーにわたる段階的特徴統合は、パラメータ数と推論コストを低く保ちつつ、性能をどのように向上させるか？
• RQ3 グループ畳み込みと再帰的モジュールの使用は、画像品質に悪影響を及げることなく、計算複雑性をどの程度低減できるか？
• RQ4 マルチスケールディスクライマは、標準的な GAN と比較して、どのように perceptual 実現性を向上させるか？
• RQ5 CPU における推論速度の向上が GPU では実現できないのはなぜか？この現象は、リアルタイムシステムにおけるモデルデプロイにどのように影響するか？

主な発見

• PCARN は、LPIPS が低く、NIMA スコアが高いという点で、同等のモデルよりも優れた人間の判断との整合性を示し、優れた perceptual 質量を達成している。
• ESRGAN や G-MGBP、EPSR などの最近の手法と比較して、PCARN ははるかに少ない MultAdds を使用しながらも、perceptual 質量で優位性を示している。
• CPU では、PCARN-M は ESRGAN や EPSR といった重いモデルを含む全手法の中で最も高速な推論速度を達成しており、高い効率性を示している。
• MultAdds が少ないにもかかわらず、PCARN は想定より GPU での推論が遅く、段階的接続による並列性の低下と最適化されていないグループ畳み込みが原因である。
• Set14 ×4 における perception-distortion トレードオフプロットから、PCARN は perceptual 質量と歪み指標の間で良好なトレードオフを達成している。
• 密なまたは細かいテクスチャの再構築に失敗するケースが発生しており、重度に劣化したまたは複雑な構造の処理に限界があることが示唆されている。