[論文レビュー] Continuous Regularized Wasserstein Barycenters

Lingxiao Li, Aude Genevay+2 more|arXiv (Cornell University)|Aug 28, 2020

Geometric Analysis and Curvature Flows被引用数 8

ひとこと要約

本稿では、新たな双対定式化を活用することで、連続的正則化 Wasserstein バリオセントルを計算するための確率的アルゴリズムを提案する。この手法により、入力分布へのサンプルアクセスを用いて、連続的確率分布のための効率的なオンライン近似が可能になる。この方法は、双対ポテンシャルを通じたプライマル・デュアル関係を用いてバリオセントルを暗黙的にパラメータ化し、強い双対性を達成することで、スケーラブルな連続的バリオセントル推定に向けた確率的勾配降下法を可能にする。

ABSTRACT

Wasserstein barycenters provide a geometrically meaningful way to aggregate probability distributions, built on the theory of optimal transport. They are difficult to compute in practice, however, leading previous work to restrict their supports to finite sets of points. Leveraging a new dual formulation for the regularized Wasserstein barycenter problem, we introduce a stochastic algorithm that constructs a continuous approximation of the barycenter. We establish strong duality and use the corresponding primal-dual relationship to parametrize the barycenter implicitly using the dual potentials of regularized transport problems. The resulting problem can be solved with stochastic gradient descent, which yields an efficient online algorithm to approximate the barycenter of continuous distributions given sample access. We demonstrate the effectiveness of our approach and compare against previous work on synthetic examples and real-world applications.

研究の動機と目的

• 連続的分布に対する Wasserstein バリオセントルの計算における計算の難しさを克服すること。これまでは、有限のサポートに制限されていた。
• 幾何学的に意味のあるまま、実用的に計算可能な連続的近似をバリオセントルに維持すること。
• 正則化問題の双対定式化を活用することで、ストリーミングまたはサンプルデータからのオンライン学習を可能にすること。
• 正則化 Wasserstein バリオセントル問題における強い双対性を確立し、双対ポテンシャルによる暗黙的パラメータ化を支援すること。

提案手法

• 正則化 Wasserstein バリオセントル問題のための新たな双対定式化を導出し、バリオセントルと双対ポテンシャルを結ぶプライマル・デュアル関係を確立する。
• 正則化最適輸送問題の双対ポテンシャルを用いて、バリオセントルを明示的なサポート離散化を避けて暗黙的にパラメータ化する。
• 双対変数の最適化に確率的勾配降下法を適用し、入力分布へのサンプルアクセスから、オンラインかつスケーラブルな更新を可能にする。
• 強い双対性を用いて、最適化された双対ポテンシャルから常にプライマル解（バリオセントル）が回復されることを保証する。
• 最適化の安定化とバリオセントル近似における滑らかさを確保するため、正則化輸送フレームワークを採用する。
• 新しいサンプルに段階的に適応する連続的バリオセントル推定を構築し、リアルタイムまたはストリーミング計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 有限の点集合へのサポートの制限なしに、Wasserstein バリオセントルの連続的近似を効率的に計算できるか？
• RQ2 正則化最適輸送問題における強い双対性をどのように活用して、バリオセントルを双対ポテンシャルによる暗黙的パラメータ化にできるか？
• RQ3 確率的勾配降下法を双対定式化に効果的に適用し、サンプルからバリオセントルのオンライン学習を可能にできるか？
• RQ4 提案手法は、合成データおよび実世界データにおいて、従来の有限サポートアプローチと比較して、精度と効率の面で優れているか？

主な発見

• 提案手法は、正則化 Wasserstein バリオセントル問題において強い双対性を達成し、双対変数からプライマルバリオセントルを信頼性高く回復できることを示した。
• 双対ポテンシャルによる暗黙的パラメータ化により、明示的なサポート離散化を伴わずに連続的バリオセントル推定が可能になった。
• 双対定式化における確率的勾配降下法の適用により、大規模またはストリーミングデータにスケーラブルなオンラインアルゴリズムが実現された。
• 合成データおよび実世界データにおいて、提案手法は有限サポートベースラインと比較して、連続的バリオセントル近似において優れた性能を示した。