[論文レビュー] Enabling Deep Learning on Edge Devices

Zhongnan Qu|arXiv (Cornell University)|Jan 1, 2022

IoT and Edge/Fog Computing被引用数 3

ひとこと要約

本学位論文は、モデルの冗長性を低減することで、リソース制約のあるエッジデバイスにおける効率的なディープラーニングを可能にする4つの新規手法を提案する。低ビット推論のための適応的損失認識量子化（ALQ）、ランタイムでの適応のための動的リアルタイムスパースサブネット（DRESS）、メモリ効率の良いデバイス内メタラーニングのためのp-Meta、およびエッジ・サーバーシステムにおける通信効率の良いモデル更新のためのディープ部分更新（DPU）を導入し、多様なエッジシナリオにおいて最小限のリソース使用で最先端の精度を達成する。

ABSTRACT

Deep neural networks (DNNs) have succeeded in many different perception tasks, e.g., computer vision, natural language processing, reinforcement learning, etc. The high-performed DNNs heavily rely on intensive resource consumption. For example, training a DNN requires high dynamic memory, a large-scale dataset, and a large number of computations (a long training time); even inference with a DNN also demands a large amount of static storage, computations (a long inference time), and energy. Therefore, state-of-the-art DNNs are often deployed on a cloud server with a large number of super-computers, a high-bandwidth communication bus, a shared storage infrastructure, and a high power supplement. Recently, some new emerging intelligent applications, e.g., AR/VR, mobile assistants, Internet of Things, require us to deploy DNNs on resource-constrained edge devices. Compare to a cloud server, edge devices often have a rather small amount of resources. To deploy DNNs on edge devices, we need to reduce the size of DNNs, i.e., we target a better trade-off between resource consumption and model accuracy. In this dissertation, we studied four edge intelligence scenarios, i.e., Inference on Edge Devices, Adaptation on Edge Devices, Learning on Edge Devices, and Edge-Server Systems, and developed different methodologies to enable deep learning in each scenario. Since current DNNs are often over-parameterized, our goal is to find and reduce the redundancy of the DNNs in each scenario.

研究の動機と目的

• メモリ、計算能力、エネルギーが限られたリソース制約のあるエッジデバイスに、高精度なディープニューラルネットワーク（DNN）を効果的に展開する課題に対処すること。
• 推論、ランタイムでの適応、デバイス内学習、エッジ・サーバーシステムの4つの異なるエッジシナリオにおいて、過パrameter化されたDNNの冗長性を低減すること。
• 効率的な量子化、スパarsity、メタラーニング、および部分的モデル更新を可能にすることで、モデルの精度とリソース消費のより良いトレードオフを実現すること。
• クラウドベースの推論や再トレーニングに依存しないようにし、デバイス内およびエッジ・サーバーに最適化された技術を提供すること。
• モデルの性能を維持しながら、分散エッジシステムにおける通信およびストレージのオーバーヘッドを最小限に抑えること。

提案手法

• 直接損失最適化と適応的ビット幅割り当てを用いることで、先行のバイナリネットワークを上回る精度で1ビット未塔のサブ1ビットDNNを実現する、適応的損失認識量子化（ALQ）を提案する。
• 変動するリソース制約に応じて、異なるスパarsityを持つサブネットワーク間で重みとアーキテクチャを共有するランタイム合成手法である、動的リアルタイムスパースサブネット（DRESS）を導入する。
• 構造的に適応に重要な重みのみを特定・更新することで、デバイス内少数ショットラーニングにおけるメモリオーバーヘッドを低減する、メタラーニングフレームワークp-Metaを開発する。
• サーバー上で事前学習されたモデルのうち、重要な重みのみを選択・更新するパイプラインであるディープ部分更新（DPU）を導入し、通信コストを最小限に抑えつつ精度を維持する。
• エッジデバイス上でスパーステンソル計算を活用し、さまざまなスパarsityレベルのサブネットワークを効率的に実行することで、ランタイムでのリソース利用可能性に応じた動的適応を可能にする。
• DRESSにおける重み共有とアーキテクチャ共有を活用することで、ストレージおよび再構成のオーバーヘッドを低減し、動的エッジ環境における効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 サブ1ビットの精度で、量子化の冗長性を最小限に抑えながら、エッジデバイス上で高精度なDNN推論を実現するにはどうすればよいか？
• RQ2 リソース制約（例：RAM、実行時間）がランタイム中に変動する状況下で、エッジデバイス上でDNNのリアルタイム適応をどのように実現できるか？
• RQ3 少数のサンプルでのみ学習可能な未学習タスクに対して、デバイス内メタラーニングをメモリ効率よく行い、モデル更新のメモリフットプリントを最小限に抑えるにはどうすればよいか？
• RQ4 反復的なモデル更新中に、エッジ・サーバーシステムにおける通信コストを低減しながらも、モデルの性能を維持するにはどうすればよいか？
• RQ5 事前学習されたDNNにおいて、通信オーバーヘッドを最小限に抑えつつ性能を損なわずに、重要な重みのみを効果的に選択・更新する最適な戦略は何か？

主な発見

• ALQは、1ビット未塔の平均ビット幅を維持しながらも、最先端のバイナリネットワークを上回る精度を達成し、直接損失最適化と適応的ビット幅割り当ての有効性を示した。
• DRESSは、重みとアーキテクチャの共有により、非共有手法と比較して最大30％のストレージオーバーヘッド低減と25％の高速な再構成を実現し、動的サブネットワーク実行を可能にした。
• p-Metaは、構造的に重要な重みのみに更新を集中させることで、デバイス内メタラーニング中のメモリ消費を低減し、最小限のメモリフットプリントで効率的なショットラーニング適応を可能にした。
• DPUは、エッジ・サーバーシステムにおける選択的かつ重み単位の部分的更新により、通信コストを最大80％削減しながら、フル再トレーニングと同等のモデル精度を達成した。
• DRESSとスパーステンソル計算の統合により、さまざまなスパarsityレベルのサブネットワーク間での効率的な推論が可能になり、動的リソース制約下でのリアルタイム適応を支援した。
• 提案手法は、多様なエッジシナリオにおいて、高精度かつ低リソース消費のディープラーニングを実現し、精度、効率性、通信コストの面で既存手法を上回った。