[論文レビュー] Split Computing and Early Exiting for Deep Learning Applications: Survey and Research Challenges

Yoshitomo Matsubara, Marco Levorato+1 more|arXiv (Cornell University)|Mar 8, 2021

Age of Information Optimization被引用数 14

ひとこと要約

本論文は、モバイルおよびエッジデバイスにおけるディープラーニング推論の最適化を目的としたスプリットコンピューティング（SC）およびイアリー・エクジット（EE）技術について包括的なサーベイを提示している。DNNをモバイルデバイスとエッジノードに分割するか、中間層で早期予測を可能にすることで、SCおよびEEは、特に動的ネットワーク環境下でも、高い精度を維持しつつ、レイテンシ、エネルギー消費、帯域幅使用量を削減する。

ABSTRACT

Mobile devices such as smartphones and autonomous vehicles increasingly rely on deep neural networks (DNNs) to execute complex inference tasks such as image classification and speech recognition, among others. However, continuously executing the entire DNN on mobile devices can quickly deplete their battery. Although task offloading to cloud/edge servers may decrease the mobile device's computational burden, erratic patterns in channel quality, network, and edge server load can lead to a significant delay in task execution. Recently, approaches based on split computing (SC) have been proposed, where the DNN is split into a head and a tail model, executed respectively on the mobile device and on the edge server. Ultimately, this may reduce bandwidth usage as well as energy consumption. Another approach, called early exiting (EE), trains models to embed multiple "exits" earlier in the architecture, each providing increasingly higher target accuracy. Therefore, the trade-off between accuracy and delay can be tuned according to the current conditions or application demands. In this paper, we provide a comprehensive survey of the state of the art in SC and EE strategies by presenting a comparison of the most relevant approaches. We conclude the paper by providing a set of compelling research challenges.

研究の動機と目的

• スマートフォンやドローンなどのモバイルデバイス上で大規模なDNNを実行する際の高い計算コストおよびエネルギー消費の課題に対処すること。
• 変動するネットワークレイテンシや信頼性の低い無線リンクに苦しむクラウドへの完全なオフロードの限界を克服すること。
• 最新のSCおよびEE技術をサーベイし、精度、レイテンシ、エネルギー効率のバランスを取るための有効な戦略を特定すること。
• 動的環境への適応、しきい値最適化、画像分類を超える幅広い応用分野における主な研究課題を同定すること。
• 情報ボトルネック理論のような理論的基盤を活用し、SCおよびEEの設計をよりよく理解・指針づけること。

提案手法

• スプリットコンピューティング（SC）は、DNNをモバイルデバイスで実行するヘッド部分とエッジサーバーで実行するテイル部分に分割することで、データ転送量とローカル計算量を削減する。
• イアリー・エクジット（EE）は、DNN内に複数の途中予測ヘッド（エグジット）を導入し、信頼度がしきい値を超えると早期終了を可能にする。
• システムは信頼度スコアに基づいて、推論を継続するか早期終了するかを動的に選択し、精度とレイテンシのトレードオフを実現する。
• 技術的には、早期エグジットを最適化するためのマルチタスク損失関数を用いた学習や、性能を維持するためのナレッジディスティルレーションの活用が含まれる。
• 本論文は、さまざまなDNNおよび応用分野における、エグジットの配置やモデル分割のアーキテクチャ的選択について分析している。
• 情報ボトルネック理論を用いた理論的視点が導入され、DNN層における圧縮と情報保持の分析がなされている。

実験結果

リサーチクエスチョン

• RQ1 スプリットコンピューティングとイアリー・エクジットを効果的に組み合わせることで、モバイルDNN推論におけるエネルギー消費とレイテンシをどのように低減できるか？
• RQ2 SCおよびEEアーキテクチャにおける精度、レイテンシ、エネルギー消費の主な設計上のトレードオフは何か？
• RQ3 手動で調整された信頼度しきい値に依存せずに、イアリー・エグジットの動的意思決定を最適化する方法は何か？
• RQ4 ウェアラブルセンサーを用いたリアルタイムの健康モニタリングのような非CV分野において、現在のSCおよびEEアプローチの限界は何か？
• RQ5 情報ボトルネック理論は、SCおよびEEのパフォーマンス分析と改善のための原則的基盤を提供できるか？

主な発見

• 高精度なオブジェクト検出モデルEfficientDet-D7は、NVIDIA Jetson Nanoのような組み込みデバイスでも数秒の実行時間を要し、最適化の必要性が浮き彫りになる。
• MobileNetV2 や MnasNet などのモバイル最適化モデルは、ResNet-152 よりも最大6.4%の精度損失を示す。
• 軽量モデルであるSSD-MobileNetV2ですら、COCOデータセットで6fpsで20%のmAPにとどまり、速度と精度のトレードオフが顕著である。
• EE戦略により、信頼度が高い入力に対しては早期終了が可能となり、推論時間とエネルギー消費が削減される。
• スプリットコンピューティングにより、必要な計算のみをオフロードすることで帯域幅使用量が削減され、不安定な無線環境下でもパフォーマンスが向上する。
• 情報ボトルネック理論のような理論的枠組みは、早期エグジットが初期段階で十分な情報を捉える可能性があることを示唆しており、SCおよびEEの設計を圧縮の観点から正当化する。