[論文レビュー] On-Device Machine Learning: An Algorithms and Learning Theory Perspective

Sauptik Dhar, Junyao Guo+4 more|arXiv (Cornell University)|Nov 2, 2019

Data Stream Mining Techniques参考文献 205被引用数 45

ひとこと要約

本論文は、オンデバイス学習を計算機資源とメモリの2つを主資源とするリソース制約学習として位置づけ、それを調査する。エッジデバイスのアルゴリズムと学習理論、さらには課題と今後の展望を論じる。

ABSTRACT

The predominant paradigm for using machine learning models on a device is to train a model in the cloud and perform inference using the trained model on the device. However, with increasing number of smart devices and improved hardware, there is interest in performing model training on the device. Given this surge in interest, a comprehensive survey of the field from a device-agnostic perspective sets the stage for both understanding the state-of-the-art and for identifying open challenges and future avenues of research. However, on-device learning is an expansive field with connections to a large number of related topics in AI and machine learning (including online learning, model adaptation, one/few-shot learning, etc.). Hence, covering such a large number of topics in a single survey is impractical. This survey finds a middle ground by reformulating the problem of on-device learning as resource constrained learning where the resources are compute and memory. This reformulation allows tools, techniques, and algorithms from a wide variety of research areas to be compared equitably. In addition to summarizing the state-of-the-art, the survey also identifies a number of challenges and next steps for both the algorithmic and theoretical aspects of on-device learning.

研究の動機と目的

• エッジデバイスを定義し、クラウドベースのトレーニングと推論の代替としてオンデバイス学習の動機づけを行う。
• 計算とメモリを中心とした資源制約学習としてオンデバイス学習を再定式化する。
• 資源有限デバイス上でのトレーニングに関するアルゴリズム的アプローチと理論的検討を調査する。
• 資源効率の高いオンデバイス学習における課題と今後の研究方向を明らかにする。

提案手法

• 計算とメモリを主要資源とする資源制約学習としてオンデバイス学習を再定式化する。
• オンデバイス学習のハードウェア、ライブラリ、アルゴリズム、理論スタックとそれらの相互作用を調査する。
• 資源フットプリントの特徴付けと実践的プロファイリングに基づいてアルゴリズム的アプローチを分類する。
• MACs/FLOPs、メモリ、アクティベーションなどの資源指標の観点から従来型および深層学習モデルを論じる。
• 特定のハードウェアに依存しないデバイス間でアルゴリズムを比較するフレームワークを提示する。

実験結果

リサーチクエスチョン

• RQ1 計算資源とメモリ制約の下でオンデバイスのモデル訓練をいかに効果的に実現できるか？
• RQ2 資源効率の高いオンデバイス学習を可能にする主要なアルゴリズム的・理論的発展は何か？
• RQ3 資源制約がエッジデバイス向けの学習手法の評価と選択にどのような影響を与えるか？
• RQ4 資源効率の高いオンデバイス学習における未解決の課題と今後の方向性は何か？

主な発見

• オンデバイス学習は、計算とメモリを中核資源として資源制約学習として有望に研究できる。
• ハードウェア依存の指標（MACs/FLOPs、重み、アクティベーション）は、従来のMLアルゴリズムと同様にDNNの資源フットプリントを評価するために用いられる。
• エッジハードウェアは多様であり、オンデバイスでの訓練の実現性を確保するためには軽量モデルと慎重なプロファイリングが必要。
• エッジデバイスでの推論と高性能プラットフォームでの訓練の現状ベンチマークが存在し、オンデバイス訓練のより深いプロファイリングが必要であることを示している。
• 本調査は、資源制約学習の理論的枠組みを概説しており、資源制約下での性能保証に関する新しい理論と課題を含む。