[論文レビュー] Stochastic Wasserstein Barycenters

Sebastian Claici, Edward Chien+1 more|arXiv (Cornell University)|Feb 15, 2018

Geometric Analysis and Curvature Flows参考文献 27被引用数 34

ひとこと要約

本稿では、入力のサンプルのみから連続確率分布の Wasserstein バリオセントルを計算するための確率的で正則化を要しないアルゴリズムを提案する。双対目的関数に対する確率的勾配上昇を用いて、反復的にバリオセントルのサポートを調整することで、従来の固定サポートや正則化手法よりも鋭い、幾何学的感度の高いバリオセントルを生成する。本手法は、ブルーノイズ生成やスーパーサンプリングへの応用に適している。

ABSTRACT

We present a stochastic algorithm to compute the barycenter of a set of probability distributions under the Wasserstein metric from optimal transport. Unlike previous approaches, our method extends to continuous input distributions and allows the support of the barycenter to be adjusted in each iteration. We tackle the problem without regularization, allowing us to recover a sharp output whose support is contained within the support of the true barycenter. We give examples where our algorithm recovers a more meaningful barycenter than previous work. Our method is versatile and can be extended to applications such as generating super samples from a given distribution and recovering blue noise approximations.

研究の動機と目的

• エンタロピー正則化や固定離散サポートに依存する従来の Wasserstein バリオセントル手法の限界を克服すること。
• 分布関数や事前定義されたグリッドを必要とせず、連続的入力分布のサンプルに基づくアクセスからのバリオセントル計算を可能にすること。
• 最適化中にバリオセントルのサポートを動的に調整することで、鋭さと幾何学的正確性の高いバリオセントルを生成すること。
• 直線や楕円上の一様分布のような鋭い特徴を有する問題において、本手法が優れた性能を示すかを検証すること。
• ブルーノイズ生成や複雑な分布からのスーパーサンプリングといった実用的応用への応用を拡張すること。

提案手法

• バリオセントル計算を双対ポテンシャル上の凹最大化問題として定式化し、Wasserstein バリオセントル問題の双対定式化を活用する。
• 入力分布からのサンプルを用いて勾配を計算し、確率的勾配上昇法で双対目的関数を最適化する。
• 輸送写像に基づき最適な位置に点を移動させる「スナップ」ステップを用いて、バリオセントルのサポートを反復的に更新する。
• 正則化を直接回避することで、出力の鋭さを保持する未正則化問題を直接解く。
• 並列処理が可能であり、固定サポートグリッドを必要としないため、真のバリオセントルの幾何学に動的に適応可能である。
• 勾配ノルムを用いて収束を監視し、‖∇F‖₂² ≤ 10⁻⁶ に達した段階で終了する。

実験結果

リサーチクエスチョン

• RQ1 固定サポートを仮定せず、サンプルアクセスのみから確率的で正則化を要しないアルゴリズムが Wasserstein バリオセントルを計算可能かどうか。
• RQ2 バリオセントルのサポートを動的に調整することで、固定サポート手法と比較して出力の鋭さと幾何学的忠実度がどのように向上するか。
• RQ3 直線や楕円上の一様測度のような鋭い特徴を有する場合、本手法が従来手法よりも理論的期待値に近いバリオセントルを回復できるか。
• RQ4 本手法がブルーノイズ生成や複雑な分布からのスーパーサンプリングといった実用的問題に効果的に応用可能かどうか。
• RQ5 N=2 の場合、バリオセントルが McCann の補間に対応するが、その場合の手法の性能はいかにか。

主な発見

• 本アルゴリズムは、直線や楕円上の一様分布のような鋭い幾何的特徴を有する問題において、正則化や固定サポート手法よりも顕著に鋭いバリオセントルを生成する。
• 単位正方形上の一様測度の N=2 の場合、本手法は期待される中点正方形上の一様バリオセントルを回復するが、Staib ら (2017) の手法は非一様で非一様支持の結果を生成する。
• 直線上に10個の一様分布がある N=10 の場合、バリオセントルは鋭く単一の直線上に支持され、理論的期待値と一致する。これに対して、競合手法は広がったまたは不正確な支持を示す。
• 本手法は、強度画像を分布とみなしてバーチャルサンプリングすることで、De Goes ら (2012) と同等の品質の高品質なブルーノイズ点集合を生成する。
• 10個のガウス分布の混合からのスーパーサンプリングにおいて、負の自己相関により密度の等高線をよりよく尊重する点を生成する。これに対して、i.i.d. サンプリングは高密度モードを過剰にサンプリングする。
• スナップステップ1回あたり20回未満の反復で収束が信頼性を持って達成され、多数の例で1ステップのスナップで十分な性能が得られる。これは、実用的効率性が非常に高いことを示している。