[論文レビュー] ESAI: Efficient Split Artificial Intelligence via Early Exiting Using Neural Architecture Search

Behnam Zeinali, Di Zhuang+1 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Neural Network Applications参考文献 55被引用数 6

ひとこと要約

本論文では、知識蒸留とマルチエグジット早期終了を用いたニューラルアーキテクチャサーチを組み合わせた、分割型人工知能フレームワークであるESA Iを提案する。このフレームワークは、分類の信頼性に基づいて、データをデバイス上で分類するかクラウドにオフロードするかを動的に決定する。分類の信頼性が高い場合に早期終了を実行し、軽量なクライントモデルを最適化することで、通信コストを低減し、テストデータのうちたった40%しかサーバーに送信しなくてよくなり、全体の精度は92%に達する。これは、独立したクライントモデルやサーバーモデルを上回る性能を発揮する。

ABSTRACT

Recently, deep neural networks have been outperforming conventional machine learning algorithms in many computer vision-related tasks. However, it is not computationally acceptable to implement these models on mobile and IoT devices and the majority of devices are harnessing the cloud computing methodology in which outstanding deep learning models are responsible for analyzing the data on the server. This can bring the communication cost for the devices and make the whole system useless in those times where the communication is not available. In this paper, a new framework for deploying on IoT devices has been proposed which can take advantage of both the cloud and the on-device models by extracting the meta-information from each sample's classification result and evaluating the classification's performance for the necessity of sending the sample to the server. Experimental results show that only 40 percent of the test data should be sent to the server using this technique and the overall accuracy of the framework is 92 percent which improves the accuracy of both client and server models.

研究の動機と目的

• リソース制限のあるIoTおよびモバイルデバイスに、通信帯域幅が限られた環境下でも正確なディープラーニングモデルを展開する課題に対処すること。
• 不確実性が高く、または複雑なサンプルのみを知的にクラウドにオフロードすることで、モバイルAIシステムの通信オーバーヘッドとエネルギー消費を低減すること。
• コンパクトなクライント側モデルの精度と効率を向上させるために、知識蒸留とニューラルアーキテクチャサーチを組み合わせること。
• 分類の信頼性が高い場合に早期分類を可能にするマルチエグジットディープニューラルネットワークにより、柔軟で適応的な推論を実現すること。
• ネットワーク接続が不安定または切断されても高いパフォーマンスを維持できるシステムを設計すること。

提案手法

• クライントが軽量でNAS最適化されたモデルを実行するクライント・サーバー分割DNNアーキテクチャを採用し、複数の早期終了ヘッドを備える。
• ニューラルアーキテクチャサーチ（NAS）は、大規模なティーチャーモデルからの知識蒸留によって、クライント用のコンパクトで正確なスタディオモデルを生成する。
• 意思決定ユニットは、各エグジットポイントでの分類の信頼性を評価し、ローカル分類かサーバーへの転送かを判断する。
• 複数の分類ヘッドをネットワークの異なる深さに配置することで、予測の信頼性がしきい値を超えた場合に早期推論を実現する。
• 分類結果からのメタ情報を利用して、不必要なデータ送信を最小限に抑えるオフロード意思決定を支援する。
• 精度、エネルギー効率、通信コストのバランスを取る損失関数を用いて、エンドツーエンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 分類の信頼性に基づいて、オンデバイス分類とクラウドオフロードのどちらを行うかを動的に決定できる分割型AIフレームワークは実現可能か？
• RQ2 知識蒸留を用いたニューラルアーキテクチャサーチは、軽量クライントモデルの精度と効率をどのように向上させられるか？
• RQ3 早期終了は、モバイルおよびIoT推論における計算コストと通信オーバーヘッドをどの程度低減できるか？
• RQ4 ネットワーク接続が不安定または利用不可であっても、提案されたフレームワークは高い精度を維持できるか？
• RQ5 マルチエグジットDNNとNAS、知識蒸留の統合は、精度と効率のトレードオフをどのように改善できるか？

主な発見

• サーバーに送信するサンプル数がテストデータの40%にまで削減され、通信コストが顕著に低減された。
• 全体のシステムは92%の精度を達成し、独立したクライントモデルやサーバーモデルの性能を上回った。
• NASにおける知識蒸留の活用により、サイズが小さく、計算負荷も低いにもかかわらず高い精度を維持するコンパクトなクライントモデルが得られた。
• 早期終了により、多数の入力を浅いネットワーク深さで分類可能となり、エネルギー消費と推論時間の両方が削減された。
• 本フレームワークは実際のデバイス上に成功裏に実装され、エッジAIデプロイメントにおける実用的妥当性が示された。
• 分類の不確実性に基づく意思決定ユニットは、高精度なサーバー処理を要するサンプルを効果的に同定した。