[論文レビュー] Partitioned Variational Inference: A unified framework encompassing federated and continual learning

Thang D. Bui, Cuong V. Nguyen+2 more|arXiv (Cornell University)|Nov 27, 2018

Gaussian Processes and Bayesian Inference参考文献 8被引用数 20

ひとこと要約

本稿では、分散型学習および継続的学習のための効率的でスケーラブルなソリューションを可能にする、統一されたフレームワークである分割変分インファレンス（PVI）を紹介する。PVIは、多様なアルゴリズム的選択肢においてグローバルおよびローカル変分インファレンスを統合し、通信効率の高いベイジアンニューラルネットワークのトレーニングおよびガウス過程を用いた継続的学習を実現する。既存の最先端手法を上回る性能を発揮しながらも、実装の簡潔さを維持している。

ABSTRACT

Variational inference (VI) has become the method of choice for fitting many modern probabilistic models. However, practitioners are faced with a fragmented literature that offers a bewildering array of algorithmic options. First, the variational family. Second, the granularity of the updates e.g. whether the updates are local to each data point and employ message passing or global. Third, the method of optimization (bespoke or blackbox, closed-form or stochastic updates, etc.). This paper presents a new framework, termed Partitioned Variational Inference (PVI), that explicitly acknowledges these algorithmic dimensions of VI, unifies disparate literature, and provides guidance on usage. Crucially, the proposed PVI framework allows us to identify new ways of performing VI that are ideally suited to challenging learning scenarios including federated learning (where distributed computing is leveraged to process non-centralized data) and continual learning (where new data and tasks arrive over time and must be accommodated quickly). We showcase these new capabilities by developing communication-efficient federated training of Bayesian neural networks and continual learning for Gaussian process models with private pseudo-points. The new methods significantly outperform the state-of-the-art, whilst being almost as straightforward to implement as standard VI.

研究の動機と目的

• 文献における断片的なアプローチを統一する一つのフレームワークとしての変分インファレンスの統合。
• 分散型および継続的学習の課題に応えるために、効率的で分散型かつ段階的なインファレンスを可能にする。
• 更新の粒度や最適化手法を含む、変分インファレンスにおけるアルゴリズム的選択肢の体系的選定と統合手法の提供。
• データが限られた、分散型、ストリーミング学習環境に特化した新しい変分インファレンスアルゴリズムの同定。
• MNIST やガウス過程モデルといった実世界のベンチマークにおいて、PVIに基づく手法の実用的優位性の実証。

提案手法

• PVIは、変分目的関数をローカルおよびグローバル成分に分割し、計算効率と推論精度の間で柔軟なトレードオフを可能にする。
• グローバルVI、ローカルVI、および変分メッセージパッシングを統合する単一の最適化フレームワークとして、既存の手法を一般化する。
• 減衰付き固定点更新とネイチャラグラデント最適化をサポートし、それらを変分制限付きパワーEPと結びつける。
• ミニバッチ近似とハイパーパramータ学習を可能にし、大規模およびストリーミングデータ向けのスケーラビリティを向上させる。
• ローカル更新とグローバル集約を分離することで、フェデレーテッドベイジアンニューラルネットワークの通信効率の高いトレーニングプロトコルを導入する。
• 継続的学習の文脈では、ガウス過程におけるプライベートな仮想点を用いて、継続的適応を可能にし、Catastrophic Forgetting（途切れ的忘却）を回避する。

実験結果

リサーチクエスチョン

• RQ1 グローバルおよびローカル変分インファレンスを、一貫したフレームワークとして正式に統合することは可能か？
• RQ2 変分インファレンスにおける、更新の粒度と最適化手法の間のアルゴリズム的トレードオフは何か？
• RQ3 PVIは、フェデレーテッド環境下で通信量を抑えたベイジアンニューラルネットワークのトレーニングを可能にするか？
• RQ4 PVIは、過去の知識を保持しながら、ガウス過程を用いた継続的学習をサポートできるか？
• RQ5 PVIに基づく最適化は、最先端手法と比較して、精度および収束速度の点で優れているか？

主な発見

• PVIは、グローバルVI、ローカルVI、パワーEPといった既存の手法を包含・一般化し、断片化した文献間の理論的つながりを確立する。
• PVIは、通信効率の高いフェデレーテッドベイジアンニューラルネットワークのトレーニングを可能にし、収束性およびテスト精度の点で、先行手法を顕著に上回る。
• ガウス過程モデルにおいて、PVIとプライベートな仮想点を組み合わせることで、継続的学習において最先端のパフォーマンスを達成し、途切れ的忘却を回避する。
• PVI下での確率的ネイチャラグラデント（SNGD）とAdamベースのトレーニングは、同等の性能を示し、SNGDは固定ステップサイズで安定した収束を示す。
• AdamとSNGDの最良の学習率は、類似した訓練およびテスト性能をもたらすため、PVI下ではハイパーパramータチューニングに対して頑健であることが示された。
• MNISTにおけるベイジアンニューラルネットワークの実験結果から、PVIベースの手法が、低い負の対数尤度と分類誤差を達成し、800～1000エポック程度で収束が観察された。