[論文レビュー] Distributed Machine Learning on Mobile Devices: A Survey.

Renjie Gu, Shuo Yang+1 more|arXiv (Cornell University)|Sep 18, 2019

Privacy-Preserving Technologies in Data参考文献 87被引用数 16

ひとこと要約

本調査は、プライバシーを保護し帯域幅を削減するために、ローカルの計算とデータを活用してサブモデルを学習するモバイルデバイスにおける分散機械学習について包括的な概要を提示する。主な貢献は、モバイルフェデレーテッドラーニングおよびエッジAIにおける手法、課題、今後の方向性の構造的分析である。

ABSTRACT

In recent years, mobile devices have gained increasingly development with stronger computation capability and larger storage. Some of the computation-intensive machine learning and deep learning tasks can now be run on mobile devices. To take advantage of the resources available on mobile devices and preserve users' privacy, the idea of mobile distributed machine learning is proposed. It uses local hardware resources and local data to solve machine learning sub-problems on mobile devices, and only uploads computation results instead of original data to contribute to the optimization of the global model. This architecture can not only relieve computation and storage burden on servers, but also protect the users' sensitive information. Another benefit is the bandwidth reduction, as various kinds of local data can now participate in the training process without being uploaded to the server. In this paper, we provide a comprehensive survey on recent studies of mobile distributed machine learning. We survey a number of widely-used mobile distributed machine learning methods. We also present an in-depth discussion on the challenges and future directions in this area. We believe that this survey can demonstrate a clear overview of mobile distributed machine learning and provide guidelines on applying mobile distributed machine learning to real applications.

研究の動機と目的

• 最近のモバイルデバイスにおける分散機械学習の進展を包括的に調査すること。
• 広く使われているモバイル分散機械学習手法およびそのシステムレベルの設計を分析すること。
• モバイルエッジラーニングにおけるスケーラビリティ、通信効率、プライバシー保護の主な課題を特定すること。
• モバイル分散学習システムの強固で現実世界での導入を可能にするための今後の研究方向性を提示すること。

提案手法

• 本論文は、中央集権的なデータ収集に依存せず、ローカルデバイスリソースを活用して学習を行う既存のモバイル分散機械学習フレームワークを調査する。
• フェデレーテッドラーニングをコアパラダイムとして強調し、ローカルモデルをデバイス上で学習させ、生データではなくモデル更新のみを中央サーバーに送信する。
• サーバー側の計算およびストレージ負荷を軽減するため、学習ワークロードをモバイルデバイスに分散させる。
• 通信効率を向上させるために、データ転送量を最小限に抑え、デバイスからサーバーに送信するのは勾配やモデルパラメータのみとする。
• モデル圧縮、量子化、適応的アグリゲーションなどの最適化技術を評価し、学習効率の向上を図る。
• デバイスの非均質性、非IID（独立同分布でない）データ分布、動的なクライアント参加といったシステムレベルの考慮事項を議論する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのデータプライバシーを守りながら、モバイルデバイス上で機械学習モデルをどのように効率的に学習できるか？
• RQ2 多様なモバイルデバイスにまたがる分散学習をスケーリングするにあたり、主なシステム的およびアルゴリズム的課題は何か？
• RQ3 モデルの精度を損なわずに、モバイル分散学習における通信オーバーヘッドをどのように最小限に抑えられるか？
• RQ4 モバイルエッジラーニング環境において、モデル収束、学習速度、リソース使用量の間にはどのようなトレードオフがあるか？
• RQ5 実用的で大規模なモバイル分散学習システムの導入を可能にするために、今後の研究でどのような方向性が求められるか？

主な発見

• モバイル分散機械学習は、生データではなくモデル更新のみを送信することで、帯域幅の使用を顕著に削減する。
• このアプローチにより、機密データがデバイス外に出ないため、ユーザーのプライバシーが強化される。
• フェデレーテッドラーニングフレームワークは、非均質なモバイルデバイス上で非IIDデータに効果的に学習を実行できる。
• 量子化や圧縮などの技術により、通信コストを低減し、リソース制限のあるデバイスでの学習効率が向上する。
• 進展は見られるが、デバイスの非均質性の処理、部分的なクライアント参加下での収束保証、モデル精度の維持といった課題は依然として残っている。
• 本調査では、実世界でのモバイル分散学習の導入を支えるため、より強固なシステムレベルのソリューションの必要性が明らかになった。