[論文レビュー] SwiftSRGAN -- Rethinking Super-Resolution for Efficient and Real-time Inference

Koushik Sivarama Krishnan, Karthik Sivarama Krishnan|arXiv (Cornell University)|Nov 28, 2021

Advanced Image Processing Techniques参考文献 23被引用数 15

ひとこと要約

本論文では、深層分離畳み込みとMobileNetベースの知覚損失を活用することで、推論速度がSOTAを記録する軽量でリアルタイムな超解像モデルであるSwiftSRGANを提案する。推論速度はSRGANの74倍速く、PSNRとSSIMスコアも競争力を持ち、低スペックデバイスへのリアルタイムデプロイを可能にする。

ABSTRACT

In recent years, there have been several advancements in the task of image super-resolution using the state of the art Deep Learning-based architectures. Many super-resolution-based techniques previously published, require high-end and top-of-the-line Graphics Processing Unit (GPUs) to perform image super-resolution. With the increasing advancements in Deep Learning approaches, neural networks have become more and more compute hungry. We took a step back and, focused on creating a real-time efficient solution. We present an architecture that is faster and smaller in terms of its memory footprint. The proposed architecture uses Depth-wise Separable Convolutions to extract features and, it performs on-par with other super-resolution GANs (Generative Adversarial Networks) while maintaining real-time inference and a low memory footprint. A real-time super-resolution enables streaming high resolution media content even under poor bandwidth conditions. While maintaining an efficient trade-off between the accuracy and latency, we are able to produce a comparable performance model which is one-eighth (1/8) the size of super-resolution GANs and computes 74 times faster than super-resolution GANs.

研究の動機と目的

• 計算リソースが限られたモバイルおよび組み込みデバイスに適したリアルタイムで効率的な超解像モデルの開発を目的とする。
• モデルサイズと推論遅延を低下させつつ、知覚的品質や再構成精度を損なわないようにすることを目的とする。
• 帯域制限のある環境（例：ストリーミングやエッジコンピューティング）においても高品質な画像拡大を可能にすることを目的とする。
• 効率的なアーキテクチャが、大規模で計算コストの高いGANベースの超解像モデルと同等の性能を達成できることを示すこと。

提案手法

• 標準畳み込みと比較してパラメータ数とFLOPsを著しく削減できる深層分離畳み込みを採用する。
• 計算コストを低減するために、重いVGGネットワークの代わりに軽量なMobileNetV2バックボーンを特徴抽出に使用する。
• 高精度な画像生成をガイドするため、MobileNetV2の特徴マップに基づく知覚損失を統合する。
• リアルな質感と詳細の保持を向上させるために、敵対的損失とコンテンツ損失を組み合わせる。
• MobileNetV2ネットワークの複数の層からの特徴マップを用いたマルチスケール損失戦略を採用する。
• 収束性を向上させるために、混合精度学習とReduceLROnPlateauスケジューラを併用したAdamW最適化手法を用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層分離畳み込みを用いることで、画像品質を損なわずモデルサイズと推論遅延を著しく削減できるか？
• RQ2 知覚損失におけるVGGの代わりにMobileNetを採用することで、学習速度と性能にどのような影響が生じるか？
• RQ3 軽量なGANベースアーキテクチャが、リアルタイムの推論を低スペックハードウェアで実現しつつ、競争力のあるPSNRとSSIMスコアを達成できるか？
• RQ4 実世界のストリーミングおよびモバイルアプリケーションにおいて、モデル効率と超解像品質のトレードオフはどのようなものか？

主な発見

• 270pから1080pへのアップスケーリングにおいて、SwiftSRGANの1フレームあたりの推論時間は5.605 msであり、SRGAN（812 ms）の74倍速く、ESRGANよりも100倍速い。
• 標準的な超解像GANの1/8のサイズであり、メモリフットプリントを著しく削減し、低スペックデバイスへのデプロイを可能にする。
• Set5ベンチマークでは、PSNRが25.13、SSIMが0.794を達成し、より大きなモデルと同等の競争力のある性能を示している。
• 視覚的結果から、SwiftSRGANは細かいディテール、照明、反射、色の正確性を、高解像度の正解画像と同等に保持している。
• MobileNetベースの知覚損失の導入により、学習時間とモデルサイズが削減されつつも、知覚的品質は維持されている。
• 低スペックハードウェアでも60 FPSでリアルタイムの動画アップスケーリングが可能であり、クラウドゲーム、監視、モバイルAR/VRアプリケーションへの応用が現実的である。