[論文レビュー] Achieving on-Mobile Real-Time Super-Resolution with Neural Architecture and Pruning Search

Zheng Zhan, Yifan Gong+10 more|arXiv (Cornell University)|Aug 18, 2021

Advanced Image Processing Techniques参考文献 63被引用数 4

ひとこと要約

本論文は、Samsung Galaxy S20などのモバイルデバイス上で50ms/フレーム未満のリアルタイム推論を達成しながら、競争力のあるPSNRおよびSSIMスコアを維持する、軽量でスパースな超解像モデルを自動生成するための、ニューラルアーキテクチャとプリンティングの共同探索フレームワークを提案する。重み共有を活用したスーパーネットと、3段階に分離された探索（スーパーネット構築、コンパイラー対応のアーキテクチャおよびプリンティング探索、ベイズ最適化を用いたプリンティング比最適化）により、最適なSRブロックおよびレイヤーワイズのプリンティング構成を効率的かつエンドツーエンドに探索可能となり、モバイルプラットフォームにおける初のリアルタイム720p超解像が実現された。

ABSTRACT

Though recent years have witnessed remarkable progress in single image super-resolution (SISR) tasks with the prosperous development of deep neural networks (DNNs), the deep learning methods are confronted with the computation and memory consumption issues in practice, especially for resource-limited platforms such as mobile devices. To overcome the challenge and facilitate the real-time deployment of SISR tasks on mobile, we combine neural architecture search with pruning search and propose an automatic search framework that derives sparse super-resolution (SR) models with high image quality while satisfying the real-time inference requirement. To decrease the search cost, we leverage the weight sharing strategy by introducing a supernet and decouple the search problem into three stages, including supernet construction, compiler-aware architecture and pruning search, and compiler-aware pruning ratio search. With the proposed framework, we are the first to achieve real-time SR inference (with only tens of milliseconds per frame) for implementing 720p resolution with competitive image quality (in terms of PSNR and SSIM) on mobile platforms (Samsung Galaxy S20).

研究の動機と目的

• リソース制限のあるモバイルデバイスにリアルタイムで高品質な単一画像超解像（SISR）をデプロイする課題に対処すること。
• モバイル環境におけるディープラーニングベースのSISRモデルの高い計算コストとメモリコストを克服すること。
• 各レイヤーにおける推論速度と画像品質のバランスを最適化するために、ニューラルアーキテクチャとプリンティング構成を共同で最適化すること。
• 共有スーパーネットと段階的な探索を用いることで、モデル探索における探索コストとトレーニングのオーバーヘッドを低減すること。
• 競争力のある知覚的および指標的品質を維持しつつ、モバイルプラットフォームで720p動画超解像に対して20FPS以上（リアルタイム）の性能を達成すること。

提案手法

• 本手法は、各組み合わせのための再トレーニングが不要な、重み共有を活用したスーパーネットを導入し、多様なSRブロックおよびプリンティング構成の間で効率的な探索を可能にする。
• 探索を3段階に分離する：スーパーネット構築、コンパイラー対応のアーキテクチャおよびプリンティング探索、コンパイラー対応のプリンティング比探索。
• ベイズ最適化（BO）を用いて、最適なSRブロックおよびプリンティングスキームの探索を加速し、必要な評価回数を削減する。
• 最終的な圧縮モデルがハードウェアアクセラレーションと互換性を持ち、低遅延推論を達成することを保証するコンパイラー対応の探索を実施する。
• リアルタイム性能を確保するため、ターゲット遅延制約（例：×2および×3では50ms、×4では40ms）に従って探索プロセスをガイドする。
• 最終的なモデルは、MNN や PyTorch Mobile などの最適化された推論フレームワークを用いて、モバイルハードウェア（Samsung Galaxy S20）で評価される。

Figure 1: (a) Unstructured pruning; (b) coarse-grained structured pruning (channel); (c) fine-grained structured pruning (block-based); and (d) fine-grained structured sparsity (pattern-based).

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャとプリンティング構成の共同探索フレームワークは、モバイルデバイス上でリアルタイムの超解像を達成できるか？
• RQ2 スーパーネットベースの重み共有と段階的探索は、SISRモデル探索におけるトレーニングおよび探索コストをどのように低減できるか？
• RQ3 全体モデルに対して固定のプリンティングを適用するのと比較して、レイヤー単位の適応的プリンティングスキームの影響は何か？
• RQ4 厳しい遅延制約下で、ベイズ最適化は最適なSRブロックおよびプリンティング比の探索を効果的に加速できるか？
• RQ5 リアルタイムモバイルSISRにおいて、推論速度、モデルサイズ、画像品質（PSNR/SSIM）の間で達成可能なトレードオフは何か？

主な発見

• 提案手法は、Samsung Galaxy S20でリアルタイムの超解像を達成し、×2および×3の拡大では1フレームあたり50ms未満の推論遅延、×4の拡大では40ms未満を達成した。
• ターゲット遅延50msの×2拡大において、Set5では31.93のPSNRおよび0.8906のSSIMを達成し、CARN-MおよびFALSR-Cを両方の指標とMAC数の点で上回った。
• ターゲット遅延40msのリアルタイムモデルは、Set5で30.74のPSNRおよび0.8671のSSIMを達成し、極めて高いモデル圧縮（12 MAC、0.7Mパラメータ）にもかかわらず、競争力のある画像品質を示した。
• ×4拡大タスクでは、120msの遅延で動作するモデルが、SRCNN、FSRCNN、FEQE-Pを上回るPSNRおよびSSIMを達成しながら、より少ないMAC数を用いた。
• コンパイラー最適化を施した結果、×2および×3では20FPS以上、×4では25FPS以上を達成し、MNNおよびPyTorch Mobileを上回った。
• アブレーションスタディにより、アーキテクチャ探索とプリンティング探索の両方が不可欠であることが確認された：アーキテクチャ探索は品質向上に寄与し、プリンティング探索は高速化を実現し、両者の組み合わせが最適な結果をもたらした。

Figure 2: Inference acceleration rate vs. pruning ratio of different pruning schemes. Results are measured on a Samsung Galaxy S20 smartphone, and a typical 3 $\times$ 3 CONV layer in WDSR block with 24/48 input/output channels and 320 $\times$ 180 feature size is used.