[論文レビュー] Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection

Qinbin Li, Zeyi Wen+1 more|arXiv (Cornell University)|Jul 23, 2019

Privacy-Preserving Technologies in Data参考文献 14被引用数 76

ひとこと要約

本稿は、データパーティショニング、モデルタイプ、プライバシーメカニズム、通信アーキテクチャ、スケーリング、連携の動機という6つの主要設計次元を特定することで、フェデレーテッドラーニングシステムの包括的フレームワークを提案している。また、非均質性と自律性の重要性が十分に評価されていない点にも言及している。既存のシステムを体系的に分類・比較することで、スケーラビリティ、効率性、現実的な仮定に関する深刻なギャップが明らかになり、プライバシー保護型協働機械学習のための今後の研究方向性が提示されている。

ABSTRACT

Federated learning has been a hot research area in enabling the collaborative training of machine learning models among different organizations under the privacy restrictions. As researchers try to support more machine learning models with different privacy-preserving approaches, there is a requirement in developing systems and infrastructures to ease the development of various federated learning algorithms. Just like deep learning systems such as Caffe, PyTorch, and Tensorflow that boost the development of deep learning algorithms, federated learning systems are equivalently important, and face challenges from various issues such as unpractical system assumptions, scalability and efficiency. Inspired by federated systems in other fields such as databases and cloud computing, we investigate the existing characteristics of federated learning systems. We find that two important features for federated systems in other fields, i.e., heterogeneity and autonomy, are rarely considered in the existing federated learning systems. Moreover, we provide a thorough categorization for federated learning systems according to six different aspects, including data partition, machine learning model, privacy mechanism, communication architecture, scale of federation and motivation of federation. The categorization can help the design of federated learning systems as shown in our case studies. Lastly, we take a systematic comparison among the existing federated learning systems and present future research opportunities and directions.

研究の動機と目的

• 現実世界の制約を反映した、強固でスケーラブルかつプライバシーに配慮したフェデレーテッドラーニングシステムの不足を解消すること。
• データベースおよびクラウドコンピューティングシステムの事例から着想を得て、フェデレーテッドラーニングシステムにおいて軽視されがちな非均質性と自律性の重要性を特定・強調すること。
• システム設計を支援するため、6つの主要次元にわたるフェデレーテッドラーニングシステムの包括的分類を提供すること。
• 既存のフェデレーテッドラーニングシステムを体系的に比較し、現在の仮定と実装における制限を明らかにすること。
• 実用的導入に向けたフェデレーテッドラーニングシステムの今後の研究方向性を提示すること。

提案手法

• 著者らは、データパーティショニング、機械学習モデル、プライバシーメカニズム、通信アーキテクチャ、連携のスケール、連携の動機という6つの次元に基づいて、既存のフェデレーテッドラーニングシステムを評価することで、比較的分析を実施している。
• データベースやクラウドコンピューティング分野の成熟したシステムと類似点を示すことで、非均質性と自律性——これらは当該分野では重要な特徴であるが——が、現在のフェデレーテッドラーニングシステムでは十分に活用されていないことを強調している。
• 6つの特定された次元に基づいてフェデレーテッドラーニングシステムを分類する体系的フレームワークを提唱し、より明確な設計指針を可能にしている。
• 事例研究を通じて、分類フレームワークがより効果的かつ現実的なフェデレーテッドラーニングシステムの設計にどのように寄与できるかを示している。
• 既存システムの比較的評価を通じて、システム仮定、スケーラビリティ、効率性における欠陥を同定している。
• 著者らは、今後の研究機会に関する知見を統合し、特にシステムの現実性、プライバシー保証、相互運用性の向上に焦点を当てている。

実験結果

リサーチクエスチョン

• RQ1 既存のフェデレーテッドラーニングシステムは、システムの非均質性と組織の自律性をどのように扱っており、なぜこれらの要因が軽視されているのか？
• RQ2 フェデレーテッドラーニングシステムを区別する主なアーキテクチャ的・設計的次元は何であり、それらを体系的に分類する方法は何か？
• RQ3 現在のフェデレーテッドラーニングシステムは、スケーラビリティ、通信効率、プライバシー制約という点で、現実の展開条件をどれくらい反映しているのか？
• RQ4 データベースおよびクラウドコンピューティングシステムからの知見は、フェデレーテッドラーニングプラットフォームの設計をどのように改善できるか？
• RQ5 フェデレーテッドラーニングシステムにおける最も深刻な未解決課題と今後の研究方向性は何か？

主な発見

• 既存のフェデレーテッドラーニングシステムは、同質なクライアントや集中型制御を仮定するなど、現実的でない単純化された仮定に依存しており、実世界への適用性が制限されている。
• データ、モデル、システムリソースにおける非均質性、および参加組織の自律性は、現在のフェデレーテッドラーニングシステムにおいて重要なが未だ十分に探求されていない側面である。
• 提示された6次元分類フレームワークにより、既存のフェデレーテッドラーニングシステムの理解と比較が明確になり、より良いシステム設計を支援することができる。
• 既存システムの体系的比較から、スケーリング、通信効率、プライバシーメカニズム統合における顕著なギャップが明らかになった。
• 今後の研究は、強固なプライバシー保証を備えた現実的で分散型かつ非均質なフェデレーテッド環境をサポートするシステムの構築を優先すべきである。
• 本研究では、PyTorch や TensorFlow のようなディープラーニングフレームワークの成熟度に並ぶ新しいシステム抽象化とインfra構築の必要性が明確に示された。