[論文レビュー] Adaptive Selection of Deep Learning Models on Embedded Systems

Ben Taylor, Vicent Sanz Marco+3 more|arXiv (Cornell University)|May 11, 2018

Advanced Neural Network Applications参考文献 57被引用数 5

ひとこと要約

この論文では、入力の特徴と精度要件に基づいて動的に最適な深層畳み込みニューラルネットワーク（DNN）を選択する、埋め込みシステム向けの適応的で機械学習駆動のランタイムモデル選択フレームワークを提案する。事前に学習済みのDNNのスイートから予測モデルをオフラインで訓練することで、Jetson TX2プラットフォーム上でImageNetデータセットにおいて、最良の単一DNNモデルよりもトップ1精度が7.52%向上し、推論速度が1.8倍速くなった。

ABSTRACT

The recent ground-breaking advances in deep learning networks ( DNNs ) make them attractive for embedded systems. However, it can take a long time for DNNs to make an inference on resource-limited embedded devices. Offloading the computation into the cloud is often infeasible due to privacy concerns, high latency, or the lack of connectivity. As such, there is a critical need to find a way to effectively execute the DNN models locally on the devices. This paper presents an adaptive scheme to determine which DNN model to use for a given input, by considering the desired accuracy and inference time. Our approach employs machine learning to develop a predictive model to quickly select a pre-trained DNN to use for a given input and the optimization constraint. We achieve this by first training off-line a predictive model, and then use the learnt model to select a DNN model to use for new, unseen inputs. We apply our approach to the image classification task and evaluate it on a Jetson TX2 embedded deep learning platform using the ImageNet ILSVRC 2012 validation dataset. We consider a range of influential DNN models. Experimental results show that our approach achieves a 7.52% improvement in inference accuracy, and a 1.8x reduction in inference time over the most-capable single DNN model.

研究の動機と目的

• リソース制限のある埋め込みデバイス上でディープラーニングモデルを実行する際の高い推論遅延とリソース消費を低減すること。
• 精度損失、プライバシー懸念、ネットワーク依存性のため、モデル圧縮やクラウドオフロードの限界を克服すること。
• ランタイムにおいて入力に依存した、事前に訓練済みのDNNモデルの動的選択を可能にし、精度と推論速度のバランスを取ること。
• 入力の複雑さとユーザー定義の精度制約に適応する、自動化され学習可能なヒューリスティクスによるモデル選択フレームワークの開発

提案手法

• 入力データから抽出した特徴（例：画像の複雑さ、テクスチャ、解像度）と対応するDNN推論性能指標を用いて、オフラインで予測機械学習モデルを訓練する。
• 精度と速度のトレードオフが異なる多様な事前学習済みDNNモデル（例：MobileNet、ResNet、DenseNet）のセットを、選択候補として用いる。
• 特定の入力と精度制約に対して最適なDNNモデルを予測するのに最も適した入力特徴を自動的にチューニング・選択する。
• ランタイムにおいて、新しい入力の特徴を訓練済みの予測器に供給することで、精度の目標を満たしつつ遅延を最小限に抑えた最適なDNNモデルを推論する。
• すべてのモデルを実行するのではなく、知的な選択によって複数モデルの長所を組み合わせたアンサンブル的挙動を活用する。
• モデル選択のオーバーヘッドを最小限に抑え、NVIDIA Jetson TX2のようなプラットフォームとの互換性を確保することで、実世界の埋め込みデプロイメントに最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習された予測器は、必要な精度を維持しつつ推論時間を最小限に抑えるために、与えられた入力に対して最適なDNNモデルを効果的に選択できるか？
• RQ2 埋め込みハードウェア上で、単一の最も正確なDNNモデルと比較して、適応的モデル選択は精度と推論速度の両面でどのように異なるか？
• RQ3 入力固有の特徴が、特定のワークロードと精度制約に対して最適なDNNモデルをどれだけ正確に予測できるか？
• RQ4 再トレーニングなしに、さまざまなDNNアーキテクチャと入力データ分布に一般化可能か？
• RQ5 埋め込みプラットフォーム上で、静的モデルデプロイメントと比較して、適応的選択による精度と速度の向上はどの程度か？

主な発見

• 提案された適応的モデル選択アプローチは、ImageNet ILSVRC 2012バリデーションセットにおいて、最も正確な単一DNNモデルと比較してトップ1精度が7.52%向上した。
• この手法は、最良の性能を示した単一DNNモデルと比較して平均推論時間を1.8倍短縮し、リアルタイム性能を顕著に向上させた。
• 入力特徴に基づいて最適なDNNモデルを予測する予測器は高い精度を達成しており、多様な画像入力に対して堅牢であることが示された。
• このアプローチは、モデルの精度と推論速度のトレードオフを効果的にバランスさせ、両方の指標において静的モデルデプロイメントを上回った。
• フレームワークは、さまざまな精度要件に適合可能であり、速度-精度トレードオフが異なる任意の事前学習済みDNNセットに適用可能である。
• ランタイムでのモデル選択のオーバーヘッドは最小限であり、厳密な遅延および電力制約を伴うリアルタイム埋め込みアプリケーションにおいて実用的である。