[論文レビュー] Musical Chair: Efficient Real-Time Recognition Using Collaborative IoT Devices

Ramyad Hadidi, Jiashen Cao+3 more|arXiv (Cornell University)|Feb 5, 2018

Human Pose and Action Recognition参考文献 31被引用数 29

ひとこと要約

Musical Chair は、Raspberry Pi などのリソース制限のある IoT デバイスを用いて、共同でプライバシーを守り、リアルタイムに深層ニューラルネットワーク（DNN）の推論を実行するシステムを提案する。デバイス間で動的にデータ並列処理とモデル並列処理を組み合わせることで、Tegra TX2 と同等の性能を達成しながらエネルギー消費を半分に抑え、クラウド依存なしに効率的なデバイス内認識を実現する。

ABSTRACT

The prevalence of Internet of things (IoT) devices and abundance of sensor data has created an increase in real-time data processing such as recognition of speech, image, and video. While currently such processes are offloaded to the computationally powerful cloud system, a localized and distributed approach is desirable because (i) it preserves the privacy of users and (ii) it omits the dependency on cloud services. However, IoT networks are usually composed of resource-constrained devices, and a single device is not powerful enough to process real-time data. To overcome this challenge, we examine data and model parallelism for such devices in the context of deep neural networks. We propose Musical Chair to enable efficient, localized, and dynamic real-time recognition by harvesting the aggregated computational power from the resource-constrained devices in the same IoT network as input sensors. Musical chair adapts to the availability of computing devices at runtime and adjusts to the inherit dynamics of IoT networks. To demonstrate Musical Chair, on a network of Raspberry PIs (up to 12) each connected to a camera, we implement a state-of-the-art action recognition model for videos and two recognition models for images. Compared to the Tegra TX2, an embedded low-power platform with a six-core CPU and a GPU, our distributed action recognition system achieves not only similar energy consumption but also twice the performance of the TX2. Furthermore, in image recognition, Musical Chair achieves similar performance and saves dynamic energy.

研究の動機と目的

• 個々に十分な計算能力を備えていないリソース制限のある IoT デバイスにおいて、リアルタイム DNN 推論を実現する課題に対処すること。
• DNN 処理におけるクラウドサービスへの依存を排除することで、ユーザーのプライバシーを向上させるとともにネットワーク負荷を軽減すること。
• 複数の低消費電力 IoT デバイスの集約された計算能力をリアルタイムに活用する、動的で適応可能なシステムを設計すること。
• 異種の IoT デバイス間でデータ並列処理とモデル並列処理を用いた共同 DNN 推論の実現可能性と効率性を評価すること。
• 低コストの IoT デバイスの分散システムが、Tegra TX2 のような高機能埋め込みプラットフォームと同等またはそれ以上の性能を達成できることを実証すること。

提案手法

• Musical Chair は、リアルタイムでの利用可能性和計算能力に基づき、DNN 推論タスクを複数の IoT デバイスに動的に負荷分散する。
• 畳み込み層に対してはデータ並列処理を採用し、独立した入力バッチをデバイス間で並列処理する。
• 全結合層に対してはモデル並列処理を適用し、1つの層の計算を複数のデバイスに分割することでメモリ制約を管理する。
• デバイスのメモリおよび計算制限を考慮し、自動的にデータ並列処理とモデル並列処理の切り替えを実施し、遅延とエネルギー効率を最適化する。
• 各デバイスの計算およびメモリオーバーヘッドを低減するため、最適化された推論ライブラリ（例：TensorFlow Lite）と統合する。
• ランタイムでのデバイスの離脱やネットワークの変化に適応できる仕組みを備え、実世界の IoT 環境における耐障害性を確保する。

実験結果

リサーチクエスチョン

• RQ1 低コストでリソース制限のある IoT デバイスのネットワークが、クラウドに依存せずに共同でリアルタイム DNN 推論を実行できるか？
• RQ2 異種の IoT デバイスにおいて、データ並列処理とモデル並列処理を動的に統合することで、パフォーマンスとエネルギー効率を最適化できるか？
• RQ3 Tegra TX2 のようなハイエンド埋め込みプラットフォームと比較して、分散 DNN システムのパフォーマンスとエネルギー効率はどの程度か？
• RQ4 リアルタイム推論中にデバイスの可用性やネットワーク状態の変化に、システムはどのように適応するか？
• RQ5 このようなシステムは、各デバイスの計算負荷を最小限に抑えながら、高い認識精度（例：行動認識や画像認識）を達成できるか？

主な発見

• Musical Chair は、分散型の行動認識タスクにおいて、Tegra TX2 の2倍の性能を達成しながら、同程度のエネルギー消費を実現した。
• 画像認識タスクにおいて、Musical Chair は Tegra TX2 と同等のパフォーマンスを発揮し、動的エネルギーを節約することでエネルギー効率の高さを示した。
• システムは最大12台の Raspberry Pi デバイスにスケーリングでき、リアルタイム推論における優れた水平スケーラビリティを示した。
• データ並列処理とモデル並列処理を組み合わせることで、リソース制限のあるデバイスにおけるメモリおよび計算のボトル neck を効果的に管理した。
• フレームワークは、デバイスの可用性やネットワーク状態の変化に動的に適応し、ランタイムでの変更にもかかわらず安定したパフォーマンスを維持した。
• 外部サーバーへのデータ送信を排除することで、ユーザーのプライバシーを保護し、完全にローカルな DNN 推論を実現した。