[論文レビュー] Auto-tuning Neural Network Quantization Framework for Collaborative Inference Between the Cloud and Edge

Guangli Li, Lei Liu+4 more|arXiv (Cornell University)|Dec 16, 2018

Advanced Neural Network Applications参考文献 11被引用数 4

ひとこと要約

本論文は、クラウド・エッジ連携推論を対象とした、自動チューニングによるニューラルネットワーク量子化フレームワークを提案する。このフレームワークは、深層ニューラルネットワークにおける最適なミックス・プレシジョン分割点を自動で特定する。エッジデバイスで実行するための早期レイヤーを量子化し、後続のレイヤーをクラウドにオフロードすることで、モデルの保存容量を最大99.97％削減し、ImageNetベンチマークで0.2％未満の精度損失で1.7倍の高速化を達成する。

ABSTRACT

Recently, deep neural networks (DNNs) have been widely applied in mobile intelligent applications. The inference for the DNNs is usually performed in the cloud. However, it leads to a large overhead of transmitting data via wireless network. In this paper, we demonstrate the advantages of the cloud-edge collaborative inference with quantization. By analyzing the characteristics of layers in DNNs, an auto-tuning neural network quantization framework for collaborative inference is proposed. We study the effectiveness of mixed-precision collaborative inference of state-of-the-art DNNs by using ImageNet dataset. The experimental results show that our framework can generate reasonable network partitions and reduce the storage on mobile devices with trivial loss of accuracy.

研究の動機と目的

• モバイルデバイスにおけるクラウドオンリーモデル推論における高い送信オーバーヘッドとプライバシーリスクを解消すること。
• エッジデプロイメントを通じて、モバイルAIアプリケーションにおけるモデル保存容量と通信コストを低減すること。
• ミックス・プレシジョン量子化を活用した、効率的でプライバシー保護型の共同推論を実現すること。
• クラウド・エッジワークロードの最適なネットワーク分割点の自動選定を可能とすること。
• 精度の低下を最小限に抑えながら、推論速度と保存容量の削減を最大化すること。

提案手法

• 計算およびメモリ特性に基づいて、候補となる分割点を特定するため、DNNレイヤー構造を分析する。
• エッジデバイスにおける保存容量と計算量の削減を目的として、早期のネットワークレイヤーにINT8スカラー量子化を適用する。
• 各候補分割点について、デバイス上でのプロファイリングにより推論遅延と通信オーバーヘッドを測定する。
• すべての候補分割点を評価し、速度と精度のトレードオフに基づいて最適なものを選定する自動チューニングアルゴリズムを採用する。
• ネットワークの最初の部分をエッジ（量子化済み）で実行し、残りの部分をクラウド（フルプレシジョン）で実行することで、パフォーマンスとプライバシーのバランスを図る。
• 両方のエッジおよびクラウドでの推論を高速化するため、最適化された低精度ライブラリ（例：gemmlowp、cuDNN）を活用する。

実験結果

リサーチクエスチョン

• RQ1 クラウド・エッジ連携推論環境において、DNNのどのレイヤーが分割に最も適しているか？
• RQ2 ミックス・プレシジョン量子化をどのように活用すれば、モデルサイズと通信オーバーヘッドを著しく削減しつつ、精度損失を最小限に抑えられるか？
• RQ3 無線環境下で推論速度、保存容量、精度のバランスを最適化するには、どのネットワーク分割点が最適か？
• RQ4 自動チューニングは、ResNet や VGG といった最新のSOTA DNNに対して、最良の分割点を効果的に特定できるか？
• RQ5 クラウドオンリーモデル推論と比較して、共同推論はどれほどデータ送信量を削減し、プライバシー保護を向上させられるか？

主な発見

• AlexNetでは、conv5を最適な分割点として選択することで1.7倍の高速化を達成し、帯域が制限された環境での送信オーバーヘッドを低減した。
• AlexNetではモバイルデバイス上のモデル保存容量を96.17％削減、VGG16では99.97％、ResNet-18では85.63％、GoogLeNetでは98.22％削減した。
• 全テストネットワークにおいて最大の精度低下は-0.11％にとどまり、大多数のモデルでは顕著な低下（≤0.1％）が見られなかった。
• 特に帯域が制限された無線環境下では、送信オーバーヘッドが大きい場合に、共同推論がクラウドオンリーモデル推論を上回る性能を示した。
• フレームワークは、各ネットワークに対して最良かつ最速の分割点を効果的に特定し、多様なアーキテクチャにわたって高い頑健性を示した。
• 中間特徴マップが低精度形式で送信されたため、通信量が削減され、ユーザーのプライバシー保護が強化された。