[論文レビュー] GAL: Gradient Assisted Learning for Decentralized Multi-Organization Collaborations

Enmao Diao, Jie Ding+1 more|arXiv (Cornell University)|Jun 2, 2021

Mobile Crowdsensing and Crowdsourcing参考文献 34被引用数 6

ひとこと要約

本稿では、分散型の複数組織学習フレームワーク「勾配補助学習（GAL）」を提案する。GALは、組織間で局所データ、モデル、目的関数を共有せずに、共有モデルを共同で最適化することを可能にする。疑似残差を交換・適合させることでグローバル勾配方向を近似し、通信ラウンド数を最小限に抑えながら（しばしば10ラウンド未満）、集中学習に近い性能を達成する。これは、医療、金融、小売分野における大規模かつプライバシーに配慮した共同学習に効率的である。

ABSTRACT

Collaborations among multiple organizations, such as financial institutions, medical centers, and retail markets in decentralized settings are crucial to providing improved service and performance. However, the underlying organizations may have little interest in sharing their local data, models, and objective functions. These requirements have created new challenges for multi-organization collaboration. In this work, we propose Gradient Assisted Learning (GAL), a new method for multiple organizations to assist each other in supervised learning tasks without sharing local data, models, and objective functions. In this framework, all participants collaboratively optimize the aggregate of local loss functions, and each participant autonomously builds its own model by iteratively fitting the gradients of the overarching objective function. We also provide asymptotic convergence analysis and practical case studies of GAL. Experimental studies demonstrate that GAL can achieve performance close to centralized learning when all data, models, and objective functions are fully disclosed.

研究の動機と目的

• プライバシーおよび規制上の制約により、組織が局所データ、モデル、目的関数を共有しない分散型の複数組織連携学習の課題に対処すること。
• 各組織が同じサンプルの重複しない特徴量を持つ垂直分散データ環境において、効果的な学習を可能にすること。
• 同期の最小化と完全なモデル・データ共有の回避により、通信および計算のオーバーヘッドを低減すること。
• 計算リソースが豊富な大規模組織に適したスケーラブルで自律的な学習フレームワークを開発すること。
• 組織間でのデータおよびモデルのプライバシーを保ちながら、集中学習に近い性能を達成すること。

提案手法

• 組織間で、トレーニング損失を低減するためのグローバル勾配方向の近似としての疑似残差を、分散的に交換する。
• 各組織が、自らの局所データ、モデル、目的関数を用いて、これらの疑似残差を適合させ、グローバル勾配の予測を生成する。
• ターゲット組織（アリス）は、予測に適応的重みを割り当てて、最適なグローバル勾配方向を推定する。
• アリスは、推定された勾配方向に沿ってラインサーチを実行し、モデル更新の最適な学習率を決定する。
• 収束するまでこのプロセスを繰り返し、通信量を最小限に抑える（集中学習性能に到達するまで通常10ラウンド未満）。
• 推論時、各組織は自らの局所予測をアリスに送信し、彼女がそれらを組み合わせて最終的なモデル出力を得る。

実験結果

リサーチクエスチョン

• RQ1 局所データ、モデル、目的関数を共有せずに、集中学習に匹敵する性能を達成できる分散型学習フレームワークは存在するか？
• RQ2 GALは、異種のデータモダリティを持つ複数組織間で垂直分散データを効果的に処理できるか？
• RQ3 ノイズが多いまたは情報のない組織の影響は、GALの収束性および性能にどのように及ぶか？
• RQ4 通信効率およびモデル精度の観点から、Federated Learning や Gradient Boosting と比較して、GALはどのように優れているか？
• RQ5 実世界のベンチマークデータセットにおいて、GALが準オラクル性能に到達するために必要な最小通信ラウンド数はどれくらいか？

主な発見

• GALは、Diabetes、BostonHousing、MNIST などのベンチマークデータセットにおいて、データやモデルを共有しない状態でも集中学習の2〜5%以内の性能を達成する。
• アブレーションスタディにおいて、半数の組織がノイズ出力（σ=1）を提供しても、GALは高い精度（例：Blobデータセットで97.5%）を維持し、ノイズに強く、耐性があることが示された。
• 半数の組織が予測力を持たない（N(0,1)からの特徴量）場合でも、GALは BreastCancer で97.6%、M=4の条件下で98.2%の精度を達成し、情報のないパートナーに対しても耐性があることが示された。
• 平均して10ラウンド未満で収束するため、同期型のフェデレーテッドラーニングと比較して、通信および調整コストを顕著に削減できる。
• 最適な支援重み付けがなされれば、GALは MNIST で96.8%、CIFAR10 で71.4%の精度を達成し、オラクル性能に近づく。
• このフレームワークは、古典的な勾配ブースティングを分散型・垂直分割データ環境に一般化し、プライバシー保護型の複数組織学習への応用範囲を拡張した。