[論文レビュー] On-device Training: A First Overview on Existing Systems

Shuai Zhu, Thiemo Voigt+2 more|arXiv (Cornell University)|Dec 1, 2022

Age of Information Optimization被引用数 4

ひとこと要約

本論文は、スマートフォンやマイコンを含むリソース制限のあるデバイス上で直接モデル学習が可能な、包括的なシステムレベルのサーベイを提示している。プライバシー保護、遅延低減、クラウド接続への依存排除を実現するため、モデルプルーニング、量子化、継続的成長、強化学習などの主要な最適化技術が同定された。

ABSTRACT

The recent breakthroughs in machine learning (ML) and deep learning (DL) have catalyzed the design and development of various intelligent systems over wide application domains. While most existing machine learning models require large memory and computing power, efforts have been made to deploy some models on resource-constrained devices as well. A majority of the early application systems focused on exploiting the inference capabilities of ML and DL models, where data captured from different mobile and embedded sensing components are processed through these models for application goals such as classification and segmentation. More recently, the concept of exploiting the mobile and embedded computing resources for ML/DL model training has gained attention, as such capabilities allow (i) the training of models via local data without the need to share data over wireless links, thus enabling privacy-preserving computation by design, (ii) model personalization and environment adaptation, and (ii) deployment of accurate models in remote and hardly accessible locations without stable internet connectivity. This work targets to summarize and analyze state-of-the-art systems research that allows such on-device model training capabilities and provide a survey of on-device training from a systems perspective.

研究の動機と目的

• リソース制限のあるデバイスにおけるオンデバイス学習フレームワークの体系的かつシステム志向のサーベイを提供すること。特に実装および最適化戦略に焦点を当てる。
• オンデバイス学習を可能にするにあたり、限られたハードウェアリソースとモデル学習の高い計算要求の間にある不一致という、主な技術的課題を特定・分析すること。
• オンデバイス学習の利点、特にプライバシー保護、通信オーバーヘッドの低減、ローカルデータおよび環境への適応性を強調すること。
• 特に、GHz未満のプロセッサとKBレベルのメモリを備えた極めて制限されたIoTデバイスにおけるサポートの欠如という点で、研究ギャップを明らかにすること。
• ハイブリッド最適化技術や組み込みプラットフォームにおけるOSレベル統合を含む、今後の研究方向性を提案すること。

提案手法

• スマートフォンおよびマイコンベースのデバイスを含む、ターゲットハードウェアプラットフォームに基づいて、既存のオンデバイス学習システムをサーベイおよび分類すること。
• メモリおよび計算使用量を削減するための最適化技術（例：モデルプルーニング、量子化、ミックスド・プレシジョントレーニング）を分析すること。
• 初期に小さなニューラルネットワークから開始し、精度要件を満たすまで段階的に拡張する連続的成長アプローチを評価すること。
• DVFS（動的電圧周波数スケーリング）を含む、動的リソース管理のための強化学習ベースのソリューションがエネルギーとパフォーマンス最適化にどのように寄与するかを検討すること。
• Android、FreeRTOS、Contikiなどの既存のオペレーティングシステムが、オンデバイス学習システムの展開を促進するか、制限するかを評価すること。
• 複数の最適化戦略（例：連続的成長 + メモリ管理）を組み合わせたハイブリッドシステム設計を提案し、効率の向上を図ること。

実験結果

リサーチクエスチョン

• RQ1 リソース制限のあるデバイスにおけるオンデバイス学習を可能にする主なシステムレベルの課題は何か？
• RQ2 既存のフレームワークは、メモリ、計算、エネルギー使用量の観点から、モバイルおよび組み込みプラットフォームにおけるモデル学習をどのように最適化しているか？
• RQ3 ハイエンドスマートフォンと超制限されたマイコンの間で、オンデバイス学習のサポートにどのような主な差異があるか？
• RQ4 モデルプルーニング、量子化、連続的成長といった技術が、オンデバイス学習中のリソース消費をどの程度削減できるか？
• RQ5 最小限のOS抽象化を備えた極めて制限されたIoTデバイスにおけるオンデバイス学習を可能にするために、今後の研究でどのような方向性が求められるか？

主な発見

• オンデバイス学習により、データおよび学習プロセスをローカルに保持することで、プライバシー保護、低遅延、オフライン対応の機械学習が実現される。
• スマートフォンは、GBレベルのメモリとGPUやNPUなどのハードウェアアクセラレータを備えているため、主なターゲットプラットフォームである。
• マイコンベースのプラットフォームは、しばしばKBレベルのメモリとGHz未満のクロック速度に制限されるため、依然として大きな課題である。
• モデルプルーニングや量子化といった技術は、リソース消費を顕著に削減し、より小さなデバイス上での学習を可能にする。
• 連続的成長や強化学習ベースの最適化戦略は、学習中にモデルサイズとリソース使用量を動的に適応させる点で、有望な兆候を示している。
• 極めて制限されたデバイス向けのシステムはまだ少ないが、パラメータごとのカスタマイズとOSレベル統合を可能にする包括的かつ拡張可能なフレームワークの構築が急務である。