[論文レビュー] Training Machine Learning models at the Edge: A Survey

Aymen Rayane Khouas, Mohamed Reda Bouadjenek+2 more|arXiv (Cornell University)|Mar 5, 2024

Machine Learning and Data Classification被引用数 7

ひとこと要約

本総説はエッジで機械学習モデルをトレーニングする方法（エッジラーニング）を分析し、分散型とオンデバイス型のアプローチを比較し、技術、指標、フレームワーク、今後の方向性を整理する。

ABSTRACT

Edge computing has gained significant traction in recent years, promising enhanced efficiency by integrating artificial intelligence capabilities at the edge. While the focus has primarily been on the deployment and inference of Machine Learning (ML) models at the edge, the training aspect remains less explored. This survey, explores the concept of edge learning, specifically the optimization of ML model training at the edge. The objective is to comprehensively explore diverse approaches and methodologies in edge learning, synthesize existing knowledge, identify challenges, and highlight future trends. Utilizing Scopus and Web of science advanced search, relevant literature on edge learning was identified, revealing a concentration of research efforts in distributed learning methods, particularly federated learning. This survey further provides a guideline for comparing techniques used to optimize ML for edge learning, along with an exploration of the different frameworks, libraries, and simulation tools available. In doing so, the paper contributes to a holistic understanding of the current landscape and future directions in the intersection of edge computing and machine learning, paving the way for informed comparisons between optimization methods and techniques designed for training on the edge.

研究の動機と目的

• エッジラーニングとエッジデバイスを定義し、この総説を既存研究の中に位置づける。
• エッジでMLモデルをトレーニングするための要件と指標を特定する。
• エッジラーニングを実現し、最適化し、加速する技術を調査・比較する。
• さまざまなMLタイプ（無 supervision? unsupervised、RLなど）がエッジラーニングとどのように統合されるかを検討する。
• エッジラーニングに用いられるツール、フレームワーク、ライブラリ、シミュレータをレビューする。
• エッジラーニングのユースケースと今後の研究課題を強調する。

提案手法

• エッジラーニング技術を4つのカテゴリに分類する。分散/協調、適応的ファインチューニング、モデル圧縮、その他の最適化。
• Federated Learning（FL）とSplit Learning（SL）とその派生形・課題を詳述する。
• エッジ環境における転移学習、Incremental learning、メタラーニングを説明する。
• エッジでの学習を目的とした知識蒸留、量子化、剪定などのモデル圧縮技術を議論する。
• 計算量、メモリ、帯域幅、エネルギーの考慮を含むELの要件/指標を提示する。
• エッジラーニングを実現するフレームワーク、ライブラリ、シミュレーションツールを要約する。

実験結果

リサーチクエスチョン

• RQ1 エッジでMLモデルをトレーニングする主な手法とそのトレードオフは何か？
• RQ2 効果的なエッジラーニングを最もよく特徴づける指標と要件は何か？
• RQ3 分散学習とオンデバイス学習のエッジトレーニングにおける比較は？
• RQ4 転移学習、Incremental学習、メタ学習はエッジ環境でどのように活用できるか？
• RQ5 エッジラーニングをサポートするツールとフレームワークは何で、実務でどう使われているか？

主な発見

• エッジラーニングは資源制約とデータプライバシーに対処するため、分散アプローチとオンデバイスアプローチの両方に依存している。
• 連邦学習と分割学習は、非IIDデータと通信コストに対処する派生を含む中心的な分散手法である。
• 転移学習、Incremental学習、メタラーニングのような適応技術は、データと計算を削減しオンデバイスでのトレーニングを可能にする。
• 知識蒸留と量子化などのモデル圧縮手法は、エッジデバイスでのトレーニングを容易にするために活用されている。
• 幅広いフレームワーク、ライブラリ、シミュレーションツールがエッジラーニングとその評価を支援している。
• 本総説は未解決の課題を概説し、MLと組み合わせたエッジコンピューティングの将来動向を予測する。