[論文レビュー] SplitSR: An End-to-End Approach to Super-Resolution on Mobile Devices

Xin Liu, Yuang Li+5 more|arXiv (Cornell University)|Jan 20, 2021

Advanced Image Processing Techniques参考文献 44被引用数 4

ひとこと要約

SplitSRは、モバイルCPU上で画期的なリアルタイム・オンデバイス超解像を実現する、新規の軽量残差ブロック（SplitSRBlock）を備えたハイブリッドディープラーニングアーキテクチャを提案する。チャネル分割と標準的・軽量畳み込みのハイブリッド設計により、従来手法よりも最大5倍速い推論が実現され、高い精度を維持する。これにより、ZoomSRとして初めてのリアルタイム・オンデバイス深層学習超解像アプリが実現された。

ABSTRACT

Super-resolution (SR) is a coveted image processing technique for mobile apps ranging from the basic camera apps to mobile health. Existing SR algorithms rely on deep learning models with significant memory requirements, so they have yet to be deployed on mobile devices and instead operate in the cloud to achieve feasible inference time. This shortcoming prevents existing SR methods from being used in applications that require near real-time latency. In this work, we demonstrate state-of-the-art latency and accuracy for on-device super-resolution using a novel hybrid architecture called SplitSR and a novel lightweight residual block called SplitSRBlock. The SplitSRBlock supports channel-splitting, allowing the residual blocks to retain spatial information while reducing the computation in the channel dimension. SplitSR has a hybrid design consisting of standard convolutional blocks and lightweight residual blocks, allowing people to tune SplitSR for their computational budget. We evaluate our system on a low-end ARM CPU, demonstrating both higher accuracy and up to 5 times faster inference than previous approaches. We then deploy our model onto a smartphone in an app called ZoomSR to demonstrate the first-ever instance of on-device, deep learning-based SR. We conducted a user study with 15 participants to have them assess the perceived quality of images that were post-processed by SplitSR. Relative to bilinear interpolation -- the existing standard for on-device SR -- participants showed a statistically significant preference when looking at both images (Z=-9.270, p<0.01) and text (Z=-6.486, p<0.01).

研究の動機と目的

• 高メモリ・高計算要求を伴う高精度な深層学習超解像（SR）モデルをリソース制限のあるモバイルデバイスにデプロイする課題に対処すること。
• クラウドベースのSRの遅延およびプライバシー制限を克服し、低価格のモバイルハードウェア上でエンドツーエンドのオンデバイス推論を可能にすること。
• 厳密な計算およびメモリ予算内に収まりつつ、高い画像品質を維持するモバイル最適化SRシステムの開発。
• 生産用スマートフォンアプリ（ZoomSR）として、リアルタイム・オンデバイスSRの実現可能性を実証すること。
• クラウド接続が不安定または利用不可な低リソース環境における、プライバシー保護型で低遅延のSRを実現すること。

提案手法

• 標準畳み込みブロックと軽量SplitSRBlocksを組み合わせたハイブリッドCNNアーキテクチャ、SplitSRを提案し、精度と効率のバランスを図る。
• 2次元畳み込み内でチャネル分割を実行する新規の残差ブロック、SplitSRBlockを導入し、空間情報を保持しながらチャネルごとの計算を削減する。
• ARM CPU上で効率的な推論を実現するため、最新のディープラーニングコンパイラー（TVM）を用いて低レベルのオペレータ最適化（カーネル統合やメモリアクセス最適化）を実施する。
• ハイパーパramータ（チャネル分割比やブロック配置など）を調整することで、異なる計算予算に適合するようにハイブリッドアーキテクチャをチューニング可能なモデルデプロイパイプラインを設計する。
• 低価格ARM CPU（Google Pixel 4）上でシステムを実装・評価し、エンドツーエンドのオンデバイスSRを実現する実世界のアプリ（ZoomSR）にデプロイする。
• ピンチツームイン操作中のズームレベルを予測するジェスチャー予測とモデルスケジューリングを活用し、推論遅延をさらに低減する。

実験結果

リサーチクエスチョン

• RQ1 標準的および軽量残差ブロックを組み合わせたハイブリッドCNNアーキテクチャは、モバイルCPU上でオンデバイスデプロイに耐えうるほど高い超解像精度を維持しながら、効率的であると言えるか？
• RQ2 SplitSRBlockにおけるチャネル分割は、超解像における計算効率と特徴保持のトレードオフをどのように改善するか？
• RQ3 オンデバイス超解像は、既存のクラウドベースSRソリューションと比較して、遅延をどの程度低減し、クラウド処理への依存を排除できるか？
• RQ4 生産用モバイルアプリとして、リアルタイム・オンデバイス深層学習超解像が、従来手法と比較して測定可能なユーザーの好みを満たす形で成功裏に実装可能か？
• RQ5 ユーザーの操作パターン（例：ピンチツームインジェスチャー）を活用することで、モデル選択を最適化し、さらに推論遅延を低減できるか？

主な発見

• SplitSRは、低価格ARM CPU上で、従来の最先端手法と比較して最大5倍速い推論を実現しながらも、高い画像再構成精度を維持した。
• ユーザー研究の結果、SplitSRはバイリニア補間と比較して、画像品質（Z = -9.270, p < 0.01）およびテキストの可読性（Z = -6.486, p < 0.01）において統計的に有意な優位性を示した。
• ZoomSRアプリは、スマートフォン上でエンドツーエンドのオンデバイス深層学習ベース超解像を実現した初のアプリであり、クラウド依存なしでリアルタイム処理を可能にした。
• SplitSRBlockのチャネル分割機構は、チャネル次元の計算を効果的に削減しながらも空間特徴を保持しており、速度および精度の向上に寄与した。
• ハイブリッドアーキテクチャにより、標準的および軽量ブロックの比率を調整することで、異なる計算予算に柔軟に適合できる。
• TVMコンパイラーによる低レベル最適化により、モバイルCPU上で効率的なカーネルスケジューリングとメモリアクセスパターンが実現され、モデル性能がさらに向上した。