[論文レビュー] Quantifying the Performance of Federated Transfer Learning

Qinghe Jing, Weiyan Wang+3 more|arXiv (Cornell University)|Dec 30, 2019

Privacy-Preserving Technologies in Data参考文献 15被引用数 23

ひとこと要約

この論文は、Google Cloud上でFATEを用いてフェデレーテッド転送学習（FTL）のパフォーマンスを定量的に評価し、プロセス間通信、データ暗号化のオーバーヘッド、ネットワーク状態を主なボトルネックとして特定した。これらの要因を最適化することで、プライバシーおよび正確性を損なわず、FTLの効率を著しく向上させられることを示している。

ABSTRACT

The scarcity of data and isolated data islands encourage different organizations to share data with each other to train machine learning models. However, there are increasing concerns on the problems of data privacy and security, which urges people to seek a solution like Federated Transfer Learning (FTL) to share training data without violating data privacy. FTL leverages transfer learning techniques to utilize data from different sources for training, while achieving data privacy protection without significant accuracy loss. However, the benefits come with a cost of extra computation and communication consumption, resulting in efficiency problems. In order to efficiently deploy and scale up FTL solutions in practice, we need a deep understanding on how the infrastructure affects the efficiency of FTL. Our paper tries to answer this question by quantitatively measuring a real-world FTL implementation FATE on Google Cloud. According to the results of carefully designed experiments, we verified that the following bottlenecks can be further optimized: 1) Inter-process communication is the major bottleneck; 2) Data encryption adds considerable computation overhead; 3) The Internet networking condition affects the performance a lot when the model is large.

研究の動機と目的

• 実運用環境におけるフェデレーテッド転送学習（FTL）のパフォーマンスボトルネックを理解すること。
• 通信、暗号化、ネットワーク状態などのインfra要因がFTLの効率に与える影響を評価すること。
• 実際のFTLシステム最適化に向けた定量的知見を提供すること。
• FTLにおけるプライバシー、正確性、システムパフォーマンスのトレードオフを評価すること。

提案手法

• 著者らは、Google Cloudインfraストラクチャ上に実装・評価された、実運用向けのFTLフレームワークFATEを用いた。
• モデルサイズやデータ分布を変化させた条件下で、学習時間、通信量、計算オーバーヘッドを測定する制御実験を実施した。
• プロセス間通信（IPC）のオーバーヘッドは、クライアントとサーバー間のメッセージ送信を分離・分析することで測定した。
• データ暗号化コストは、FTLパイプラインで暗号化を有効・無効にした場合の学習時間を比較することで定量化した。
• ネットワーク状態は帯域幅と遅延を変化させ、大規模モデル学習に与える影響を評価した。
• パフォーマンスメトリクスを収集・分析し、FTLパイプラインにおける主要なボトルネックを同定した。

実験結果

リサーチクエスチョン

• RQ1 実運用FTLシステムにおける主なパフォーマンスボトルネックは何か？
• RQ2 プロセス間通信（IPC）は、FTLの全体的な学習効率にどのように影響するか？
• RQ3 データ暗号化は、FTLにおける計算オーバーヘッドにどの程度寄与しているか？
• RQ4 帯域幅や遅延などのネットワーク状態は、特に大規模モデルにおいてFTLパフォーマンスにどのように影響するか？
• RQ5 同定されたボトルネックを効果的に最適化することで、FTLのスケーラビリティと効率が向上するか？

主な発見

• プロセス間通信（IPC）がFTLシステムにおける主要なパフォーマンスボトルネックであり、学習時間の大部分を占めている。
• データ暗号化は、特にモデルアグリゲーション段階で頻繁な暗号操作が行われるため、顕著な計算オーバーヘッドを引き起こしている。
• ネットワーク状態、特に帯域幅と遅延は、大規模モデルを用いた学習パフォーマンスに顕著な影響を与えている。
• モデルサイズが大きくなるにつれて、ネットワーク状態に起因するパフォーマンス劣化が顕著になる。
• IPCの最適化と暗号化オーバーヘッドの低減が、FTL効率向上に最も大きな寄与を示す可能性がある。
• 本研究は、現在のFTLシステムが、特に制限されたネットワークおよび計算リソース下ではまだ完全に最適化されていないことを明らかにした。