[論文レビュー] 26ms Inference Time for ResNet-50: Towards Real-Time Execution of all DNNs on Smartphone

Wei Niu, Xiaolong Ma+2 more|arXiv (Cornell University)|May 2, 2019

Advanced Neural Network Applications参考文献 16被引用数 16

ひとこと要約

CADNN は、高度な ADMM に基づく重み pruning とアーキテクチャに配慮した最適化を組み合わせることで、スマートフォン上でリアルタイムの DNN 推論を可能にするプログラミングフレームワークであり、ResNet-50 で 26ms の推論時間を達成し、TensorFlow Lite より最大 8.8×、TVM より最大 6.4× の高速化を CPU および GPU で実現した。

ABSTRACT

With the rapid emergence of a spectrum of high-end mobile devices, many applications that required desktop-level computation capability formerly can now run on these devices without any problem. However, without a careful optimization, executing Deep Neural Networks (a key building block of the real-time video stream processing that is the foundation of many popular applications) is still challenging, specifically, if an extremely low latency or high accuracy inference is needed. This work presents CADNN, a programming framework to efficiently execute DNN on mobile devices with the help of advanced model compression (sparsity) and a set of thorough architecture-aware optimization. The evaluation result demonstrates that CADNN outperforms all the state-of-the-art dense DNN execution frameworks like TensorFlow Lite and TVM.

研究の動機と目的

• スマートフォンにおけるピークモバイルハードウェア性能と実際の DNN 推論性能のギャップを解消すること。
• モデル圧縮（例：pruning によるスパarsity）によって引き起こされる非均一な計算パターンとメモリアクセスの課題を克服すること。
• 高度な pruning 技術を用いて、精度損失を最小限に抑えながらモデル圧縮率を最大化すること。
• 圧縮された DNN 用に最適化された包括的な最適化スタックを、モバイル CPU および GPU アーキテクチャに特化して開発すること。
• 消費者向けモバイルデバイスで、ResNet-50 などの大規模 DNN についてリアルタイム推論（30ms未満）を達成すること。

提案手法

• 構造的重み pruning を可能にするために、ADMM（交替方向乗数法）を採用し、最小限の精度損失で高い圧縮率を実現する。
• 複数のレイヤー（例：Conv + BatchNorm + ReLU）を統合して大きなカーネルに変換することで、メモリアクセスと SIMD 利用率を向上させる計算パターンの変更を行う。
• 1×1 卷積を行列乗算演算に変換することで、メモリおよび計算効率を向上させる。
• タイリング、アライメント、パディングを含むメモリレイアウト変換を実施し、CPU および GPU でのデータ局所性を改善する。
• 繰り返し発生するフィルターアクセスパターンに基づくコンパイラレベルのコード変換により、重複するメモリロードを削除する。
• 知識を活用したコンパイラベースのチューニング戦略を採用し、異なる DNN およびハードウェア向けに最適な最適化パrameter（例：タイルサイズ、アンロール要因）を選択する。

実験結果

リサーチクエスチョン

• RQ1 ADMM を用いた高度なモデル圧縮により、モバイル DNN において高い pruning 率を達成しつつ、精度低下をほぼゼロに抑えられるか？
• RQ2 アーキテクチャに配慮した最適化は、圧縮された DNN における不規則なメモリアクセスによって引き起こされる性能劣化をどのように緩和できるか？
• RQ3 計算統合とメモリレイアウト変換は、モバイル CPU および GPU における推論遅延をどの程度改善できるか？
• RQ4 圧縮モデルを実行する際、CADNN は、TensorFlow Lite や TVM のような最先端の密度型 DNN フレームワークに対して、どの程度のパフォーマンス向上を達成できるか？
• RQ5 統合された最適化フレームワークは、最小限の手動チューニングで、多様な DNN とモバイルハードウェアプラットフォームを効果的に処理できるか？

主な発見

• LeNet-5、AlexNet、ResNet-18 について、それぞれ 348×、36×、8× の重み pruning 率を達成し、精度損失はほぼゼロに抑えられた。
• Xiaomi 6 スマartフォン上では、CADNN が ResNet-50 で 21ms の推論時間を達成し、リアルタイム要件（30ms 未満）を満たした。
• Inception-V3 や MobileNet を含む 4 つのベンチマーク DNN において、CADNN は CPU で最大 8.8×、GPU で最大 6.4× の高速化を TensorFlow Lite や TVM を上回って達成した。
• レイヤー統合と重複ロード削除により、メモリアクセスの不規則性が低減され、データ局所性が顕著に向上した。
• タイリング、アライメント、パディングを含むメモリレイアウト変換と最適なパrameter選択により、CPU および GPU 両方で測定可能なパフォーマンス向上が得られた。
• CADNN は、高度なモデル圧縮とアーキテクチャに配慮したコンパイルを組み合わせることで、密度型 DNN 実行フレームワークよりも優れたパフォーマンスを発揮できることを示した。