[論文レビュー] From Server-Based to Client-Based Machine Learning: A Comprehensive Survey

Renjie Gu, Chaoyue Niu+5 more|arXiv (Cornell University)|Sep 18, 2019

Privacy-Preserving Technologies in Data参考文献 36被引用数 5

ひとこと要約

本サーベイは、サーバベースの機械学習からクライアントベースの機械学習への移行を包括的に分析し、フェデレーテッドラーニングとスプリットラーニングを、ユーザーのプライバシーを保全しながらデバイス内での学習を可能にする主要なパラダイムとして強調している。クライアントベース学習の進化、アーキテクチャ、課題、今後の方向性をレビューし、統合的なフレームワークと実装のための実用的ガイドラインを提供する。

ABSTRACT

In recent years, mobile devices have gained increasing development with stronger computation capability and larger storage space. Some of the computation-intensive machine learning tasks can now be run on mobile devices. To exploit the resources available on mobile devices and preserve personal privacy, the concept of client-based machine learning has been proposed. It leverages the users' local hardware and local data to solve machine learning sub-problems on mobile devices and only uploads computation results rather than the original data for the optimization of the global model. Such an architecture can not only relieve computation and storage burdens on servers but also protect the users' sensitive information. Another benefit is the bandwidth reduction because various kinds of local data can be involved in the training process without being uploaded. In this article, we provide a literature review on the progressive development of machine learning from server based to client based. We revisit a number of widely used server-based and client-based machine learning methods and applications. We also extensively discuss the challenges and future directions in this area. We believe that this survey will give a clear overview of client-based machine learning and provide guidelines on applying client-based machine learning to practice.

研究の動機と目的

• 中央集権的でサーバベースの機械学習から、分散型でクライアントベースの学習パラダイムへの移行の体系的レビューを提供すること。
• プライバシー保護、帯域幅の削減、モバイルデバイスリソースの効率的活用といった、クライアントベース学習の背後にある主な動機を特定・分析すること。
• クライアントベース学習における技術的課題、例えば非独立同分布（non-IID）データの分布、通信効率、モデル収束性を検討すること。
• 特にモバイルおよびエッジ環境において、クライアントベース機械学習を実世界のアプリケーションに実装するための実用的ガイドラインを提供すること。
• ベンチマーク、標準化、多様な応用分野への広範な展開を含む、未解決の研究課題と今後の方向性を強調すること。

提案手法

• フェデレーテッドラーニング、スプリットラーニング、および関連する分散最適化技術を含む、既存のサーバベースおよびクライアントベースの機械学習手法のサーベイと分類。
• 中央集権的学習とクライアントベース学習の間のアーキテクチャ的差異を分析し、データローカリティ、通信パターン、信頼モデルに焦点を当てる。
• クライアントベース学習の正式なタスク定義を提示し、「データのアップロード禁止」制約と、ローカルデータを用いたモデル最適化の使用に重点を置く。
• 既存のモバイル機械学習ツールとそのデバイス内学習への対応度を比較分析することで、クライアントベース学習フレームワークを評価する。
• 推論機能に加え、必要に応じてデバイス内学習をサポートする能力を重視し、TensorFlow Lite、Core ML、PyTorch Mobile、NCNN、Paddle Lite、MNN などの主要フレームワークをレビューする。
• 非独立同分布（non-IID）、ユーザー別に分割されたデータをサポートする標準化されたベンチマークとデータセット（例：LEAF）の必要性を提言する。

実験結果

リサーチクエスチョン

• RQ1 サーバベースとクライアントベースの機械学習の間の主な技術的・アーキテクチャ的差異は何か？ そして、パフォーマンス、プライバシー、スケーラビリティにどのように影響を与えるか？
• RQ2 フェデレーテッドラーニングとスプリットラーニングは、生データを中央サーバに転送せずに、どのようにプライバシー保護型機械学習を実現するか？
• RQ3 データの非独立同分布（non-IID）、通信オーバーヘッド、モデル収束性といった、クライアントベース学習における主な課題は何か？
• RQ4 既存のモバイル機械学習フレームワークにおけるデバイス内学習のサポートの現在の制限は何か？ そして、それらをどのように是正できるか？
• RQ5 クライアントベース学習の実用的展開を進めるために、今後の研究方向性と標準化の取り組みは何か？

主な発見

• 特にフェデレーテッドラーニングとスプリットラーニングを含むクライアントベース学習により、モバイルデバイス上で直接モデルを学習できるようになり、生のユーザーデータを中央サーバに転送する必要が顕著に減少する。
• クライアントベース学習の導入により、サーバ側の計算およびストレージ負荷が軽減され、通信コストが低下し、機微なデータをローカルに保持することでユーザーのプライバシーが向上する。
• 進展は見られるものの、TensorFlow Lite や PyTorch Mobile といった既存のモバイルフレームワークは主に推論をサポートしており、デバイス内学習に対するネイティブなサポートが限定的であり、フルスタックのモバイルMLツールチェインにおけるギャップが生じている。
• アリババが開発した MNN フレームワークは、エンドツーエンドのデバイス内モデル構築と学習をサポートする稀な例であり、今後のモバイル学習能力の完全化への傾向を示唆している。
• LEAF などのベンチマークデータセットは、非独立同分布（non-IID）、ユーザー別に分割されたデータをサポートしているが、カバーしているタスクが限定的であり、クライアントベース学習アルゴリズムを公平に評価するための広範かつ標準化されたデータセットの必要性が示唆される。
• 標準化された評価指標とデプロイメントガイドラインの欠如が、異なるアプリケーションや分野におけるクライアントベース学習ソリューションの比較と展開を妨げる主要な障壁のままである。