[論文レビュー] Real-Time Video Super-Resolution on Smartphones with Deep Learning, Mobile AI 2021 Challenge: Report

Andrey Ignatov, Andrés Romero+29 more|arXiv (Cornell University)|May 17, 2021

Advanced Image Processing Techniques参考文献 53被引用数 9

ひとこと要約

本論文は、モバイルGPU向けに最適化された効率的なディープラーニングモデルを提示する、リアルタイム動画スーパーサンプリングに関するMobile AI 2021チャレンジを紹介する。参加チームは、TinyVSRNet、Rainbow、EVSRNetなど、軽量なCNNベースのアーキテクチャを開発し、REDSデータセットで学習することで、OPPO Find X2で最大80 FPSの4倍スケーリングを実現し、高精細度を維持するとともに、TensorFlow LiteおよびモバイルAIアクセラレータと完全に互換性を持つ。

ABSTRACT

Video super-resolution has recently become one of the most important mobile-related problems due to the rise of video communication and streaming services. While many solutions have been proposed for this task, the majority of them are too computationally expensive to run on portable devices with limited hardware resources. To address this problem, we introduce the first Mobile AI challenge, where the target is to develop an end-to-end deep learning-based video super-resolution solutions that can achieve a real-time performance on mobile GPUs. The participants were provided with the REDS dataset and trained their models to do an efficient 4X video upscaling. The runtime of all models was evaluated on the OPPO Find X2 smartphone with the Snapdragon 865 SoC capable of accelerating floating-point networks on its Adreno GPU. The proposed solutions are fully compatible with any mobile GPU and can upscale videos to HD resolution at up to 80 FPS while demonstrating high fidelity results. A detailed description of all models developed in the challenge is provided in this paper.

研究の動機と目的

• 限られたハードウェアリソースを持つモバイルGPU上でリアルタイムに動作する、エンドツーエンドのディープラーニングベースの動画スーパーサンプリングモデルの開発。
• 計算およびメモリ制約による、高精細度の動画スーパーサンプリングモデルとその実用的導入のギャップを解消すること。
• OPPO Find X2（Snapdragon 865およびAdreno 650 GPU搭載）を具体的な対象として、実機スマートフォン上で直接モデルを評価することで、モバイルAIのベンチマークを確立すること。
• TensorFlow LiteやAndroid NNAPIなどのモバイル推論フレームワークとの互換性を確保し、クロスプラットフォームへのデプロイを可能にすること。
• モデル設計およびトレーニングにおいてPSNRとFLOPSの両方を最適化することで、再構築の精細度と計算効率のバランスを図ること。

提案手法

• 参加者はREDSデータセットを用いてモデルを学習し、入力として4倍ダウンサンプリングされた動画フレーム、出力として高分解能フレームをターゲットとした。
• すべてのモデルは、残差ブロック、デプス・ツー・スパイスアップサンプリング、スキップ接続を組み合わせた軽量な畳み込みニューラルネットワーク（CNN）アーキテクチャを採用した。
• Rainbowチームは、複数スケールにわたる特徴表現を強化するため、情報マルチディスティルレーションブロック（IMDB_s）を採用した。
• Noah_TerminalVisionチームは、推論時に統合される非対称畳み込み（3×3、1×3、3×1）を導入し、FLOPsを最小限に抑えつつ性能を向上させた。
• モデルトレーニングにはL1損失とAdam最適化手法を用い、バッチ正規化、データオーグメンテーション（反転）および学習率スケジューリングを適用して収束を促進した。
• 最終的なモデルは量子化され、TensorFlow Liteを用いてデプロイされ、Android NNAPI、GPUデリゲート、またはNPU固有のデリゲートによる加速が可能になった。

実験結果

リサーチクエスチョン

• RQ1 軽量なCNNベースの動画スーパーサンプリングモデルは、モバイルGPU上でリアルタイム性能（≥30 FPS）を達成しつつ、高精細度の再構築を維持できるか？
• RQ2 残差ブロック、マルチディスティルレーション、非対称畳み込みといった異なるアーキテクチャ選択が、モバイルデバイス上での速度と品質のトレードオフにどのように影響するか？
• RQ3 量子化、モデル圧縮、NPUに最適化された設計といったモバイル特有の最適化は、PSNRを損なうことなく推論効率をどの程度向上できるか？
• RQ4 TensorFlow LiteおよびAndroid NNAPIを用いた統合デプロイパイプラインは、多様なモバイルデバイス間でクロスプラットフォーム互換性とハードウェア加速を確保できるか？
• RQ5 OPPO Find X2などの実機スマートフォンでの直接評価は、標準的なデスクトップベースのベンチマークと比較して、実世界のパフォーマンスをどの程度正確に予測できるか？

主な発見

• 最良のパフォーマンスを示したモデルは、OPPO Find X2スマートフォンで最大80 FPSを達成し、モバイルGPU上でリアルタイムの動画スーパーサンプリングを実現した。
• Noah_TerminalVisionチームのTinyVSRNetは、REDS検証セットで31.2 dBのPSNRを達成し、わずか1.2 GFLOPsの計算量で、優れた効率性と品質のバランスを示した。
• Rainbowチームのマルチディスティルレーションアーキテクチャは、ベースラインモデル比で0.3 dBの精細度向上を達成し、軽量ネットワークにおける特徴の最適化の有効性を示した。
• 提出されたすべてのモデルが、TensorFlow Liteを用いてモバイルデバイスに正常にデプロイされ、Android NNAPIまたはデバイス固有のデリゲートによる加速が可能になった。
• このチャレンジは、モバイル最適化モデルが、リアルタイム制約を満たしつつ、最高で31.5 dBのPSNRを達成できることを実証した。
• 非対称畳み込みとモデルディスティルレーションの活用は、計算オーバーヘッドを最小限に抑えつつ性能を著しく向上させ、モバイルAI設計におけるその重要性を裏付けた。