[論文レビュー] Parallel Streaming Wasserstein Barycenters

Matthew Staib, Sebastian Claici+2 more|arXiv (Cornell University)|May 21, 2017

Markov Chains and Monte Carlo Methods参考文献 12被引用数 26

ひとこと要約

本稿では、半離散的バーチャルバーチャンの確率的勾配降下法を用いて、任意の確率分布の Wasserstein バーチャンを通信効率的で並列的なストリーミングアルゴリズムで計算する手法を提案する。これは、連続的で非定常な入力測度に対してもスケーラブルかつリアルタイムでのバーチャン推定を可能にし、理論的収束保証と、細かいグリッド（例：$n \approx 10^6$）や大規模ベイズ推論タスクにおいて、先行手法を上回る実験的性能を示す。

ABSTRACT

Efficiently aggregating data from different sources is a challenging problem, particularly when samples from each source are distributed differently. These differences can be inherent to the inference task or present for other reasons: sensors in a sensor network may be placed far apart, affecting their individual measurements. Conversely, it is computationally advantageous to split Bayesian inference tasks across subsets of data, but data need not be identically distributed across subsets. One principled way to fuse probability distributions is via the lens of optimal transport: the Wasserstein barycenter is a single distribution that summarizes a collection of input measures while respecting their geometry. However, computing the barycenter scales poorly and requires discretization of all input distributions and the barycenter itself. Improving on this situation, we present a scalable, communication-efficient, parallel algorithm for computing the Wasserstein barycenter of arbitrary distributions. Our algorithm can operate directly on continuous input distributions and is optimized for streaming data. Our method is even robust to nonstationary input distributions and produces a barycenter estimate that tracks the input measures over time. The algorithm is semi-discrete, needing to discretize only the barycenter estimate. To the best of our knowledge, we also provide the first bounds on the quality of the approximate barycenter as the discretization becomes finer. Finally, we demonstrate the practical effectiveness of our method, both in tracking moving distributions on a sphere, as well as in a large-scale Bayesian inference task.

研究の動機と目的

• 複数のソースからの非同一分布で、かつ連続的な確率測度を、スケーラブルで通信効率の良い方法で効率的に集約する課題に対処すること。
• 時間経過に伴い変化する非定常な入力分布に適応する、リアルタイムでストリーミング計算可能な Wasserstein バーチャンを実現すること。
• バーチャン近似の品質が、バーチャンのサポート点数 $n$ が増加するにつれてどのように変化するかを理論的に収束境界で保証すること。
• 細かい離散化において特に顕著なスケーラビリティの制限（例：大規模な線形計画法や正則化最適輸送）を克服すること。
• 高精度なバーチャン推定が不可欠な大規模ベイズ推論やセンサ統合の実用的応用を支援すること。

提案手法

• アルゴリズムは、$n$ 個のサポート点を持つ離散的バーチャンを反復的に更新する確率的勾配降下法（SGD）を用いる。バーチャンのみを離散化する（半離散的アプローチ）。
• 各ワーカーマシンは並列的に入力測度のサブセットを処理し、入力分布のサンプルアクセスを用いて確率的勾配を計算する。
• 各イテレーションでワーカー間で整数1つ分の通信しか必要としないため、分散環境下での通信効率が非常に高い。
• コアとなる最適化問題は、最適輸送の双対定式化を活用して、バーチャン双対ポテンシャル上の凹関数最大化として定式化される。
• 入力測度の変化に応じてバーチャン推定を継続的に更新するため、非定常分布に対してもロバストである。
• バーチャンのサポート点数 $n$ が増加する際の近似誤差に対する境界を用いて、理論的収束が確立されている。

実験結果

リサーチクエスチョン

• RQ1 連続的確率測度の Wasserstein バーチャンをストリーミング設定で、スケーラブルかつ通信効率的で並列的なアルゴリズムとして設計可能か？
• RQ2 バーチャンの近似品質は、バーチャンのサポート点数 $n$ にどのように依存するか。また、理論的収束境界を確立できるか？
• RQ3 各ステップで大規模最適化問題を再解法することなく、非定常な入力分布下でも動的バーチャン推定を追跡し続けることができるか？
• RQ4 細かいグリッドにおいて、線形計画法や正則化最適輸送といった従来手法と比較して、本手法の正確性とスケーラビリティはどのように異なるか？
• RQ5 本手法は、サブポストリアル分布を含む大規模ベイズ推論タスクに実用的にどのような影響を及ぼすか？

主な発見

• $n \approx 10^4$ のバーチャンサポート点数で、317秒後に真の事後分布からの Wasserstein 距離が約26に達し、同等のグリッドにおける線形計画法を上回った。
• $n \approx 10^6$ の場合、16スレッドノードあたり2GB未満のメモリで高い精度を維持したが、線形計画法は $n=480$ でもメモリ制限で失敗した。
• $n \approx 10^4$ において、ステップサイズの広い範囲で線形計画法よりも優れた近似を達成でき、早期終了によりさらに優れた結果を得られた。
• 理論的境界により、$n$ が増加するにつれて近似誤差が減少することが示され、一般ケースにおいて半離散的バーチャン推定の最初の既知の収束保証が得られた。
• アルゴリズムは球面上の移動する分布のリアルタイム追跡を可能にし、ベイズ推論における Wasserstein 平均サブポストリアル（WASP）の精度を顕著に向上させた。
• $n \approx 10^6$ のサポート点数まで、最小限のメモリ使用量と高い並列効率でスケーリングでき、大規模応用における実用的妥当性を示した。