[論文レビュー] Partitioned Variational Inference: A Framework for Probabilistic Federated Learning

Matthew Ashman, Thang D. Bui+5 more|arXiv (Cornell University)|Feb 24, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、データプライバシーを保ちながら確率的モデリングを可能にするPartitioned Variational Inference (PVI) という新規フレームワークを提案する。PVI は分散学習における変分推論を拡張し、ローカルおよびグローバルなVI手法を統合し、収束保証付きの分散最適化をサポートする。PVI は、二値分類、死亡予測、画像認識のタスクにおいて、非均質なデータ分割において優れた性能を示す。

ABSTRACT

The proliferation of computing devices has brought about an opportunity to deploy machine learning models on new problem domains using previously inaccessible data. Traditional algorithms for training such models often require data to be stored on a single machine with compute performed by a single node, making them unsuitable for decentralised training on multiple devices. This deficiency has motivated the development of federated learning algorithms, which allow multiple data owners to train collaboratively and use a shared model whilst keeping local data private. However, many of these algorithms focus on obtaining point estimates of model parameters, rather than probabilistic estimates capable of capturing model uncertainty, which is essential in many applications. Variational inference (VI) has become the method of choice for fitting many modern probabilistic models. In this paper we introduce partitioned variational inference (PVI), a general framework for performing VI in the federated setting. We develop new supporting theory for PVI, demonstrating a number of properties that make it an attractive choice for practitioners; use PVI to unify a wealth of fragmented, yet related literature; and provide empirical results that showcase the effectiveness of PVI in a variety of federated settings.

研究の動機と目的

• データプライバシーを保ちながらモデルの不確実性を捉えることができる、フェデレーテッドラーニングにおける確率的推論手法の不足を解消すること。
• 中央集権的なデータアクセスを必要とする従来の変分推論の限界を克服し、分散型かつ非均質なデータに適用可能な手法を提供すること。
• フェデレーテッド設定におけるローカル、グローバル、オンライン変分推論に関する断片的な文献を統一的な理論的枠組みで結びつけること。
• 収束性を有する原理的な最適化アプローチを用いて、フェデレーテッド環境における効率的でスケーラブルかつロバストな確率的推論を可能にすること。
• 異なるデータ非均質性と通信制約を持つ多様な実世界のデータセットにおいて、PVI の有効性を実証すること。

提案手法

• フェデレーテッドラーニングにおける変分推論の一般化として、Partitioned Variational Inference (PVI) を提案する。クライアントはローカル更新を実行し、サーバーは近似事後分布要因を集約する。
• PVI における固定点最適化スキームを導入し、緩い正則性条件のもとで収束を保証する。これにより、分散環境下でも安定したトレーニングが可能になる。
• 大規模データセットへのスケーリングを可能にするミニバッチ近似戦略を開発し、統計的効率性と通信効率性を維持する。
• 特に高いデータ非均質性下でも、グローバルな近似事後分布の更新を安定化させるために、サーバー集約ステップに減衰因子を組み込む。
• 目的関数としてEvidence Lower Bound (ELBO) を使用し、すべての実験でAdam最適化子を用いた確率的勾配降下法により最適化する。
• 順次的および同期的通信プロトコルの両方をサポートし、通信制約のある環境でも柔軟性を確保する。

実験結果

リサーチクエスチョン

• RQ1 変分推論は、確率的不確実性推定とデータプライバシーを保ちながら、フェデレーテッドラーニングに効果的に拡張可能か？
• RQ2 PVI は、一貫性のある統一的枠組みのもとで、分散型、グローバル、オンライン変分推論の異なる研究分野をどのように統合するか？
• RQ3 異なるデータ分割方式と通信プロトコル下でのPVIの収束特性はいかなるものか？
• RQ4 PVI は、非均質なデータにおいて、既存のフェデレーテッドラーニングベースラインと比較して予測精度とロバスト性において優れているか？
• RQ5 減衰因子などのハイパーパrameter が、実際のPVI の安定性と収束性に与える影響は何か？

主な発見

• 非均質なデータ分割を持つ二値分類タスク（adult, bank, credit）において、PVI は最先端の性能を達成し、ベースラインのフェデレーテッドラーニング手法を上回る予測精度を示した。
• 5人のクライアントを持つMIMIC-III死亡予測データセットでは、PVI は深刻なクラス不均衡と高いデータ非均質性下でも安定した収束と高いAUCを維持した。
• 均一なMNIST分割においては、低減衰係数を用いた順次的PVIが同期的PVIよりも高速に収束した。一方、同期的PVIは減衰係数が0.25を超えると、正規化不可能な事後分布のため発散した。
• 100人のクライアントを含む非均一なMNIST分割において、PVI はすべての実行で高いテスト精度を維持した。平均 ± 標準偏差は5回のランダム初期化の結果を報告した。
• PVI におけるミニバッチ近似の使用により、MNIST などの大規模データセットでも効率的なトレーニングが可能になった。バッチサイズ512、学習率2×10⁻³で安定した最適化が得られた。
• PVI は通信制約およびクライアントの非均質性に対してロバストであり、データ量やラベル分布が著しく異なるクライアント間でも性能が維持された。