[論文レビュー] A Fast Globally Linearly Convergent Algorithm for the Computation of Wasserstein Barycenters

Yang Lei, Jia Li+2 more|PolyU Institutional Research Archive (Hong Kong Polytechnic University)|Sep 12, 2018

Image and Signal Denoising Methods参考文献 42被引用数 12

ひとこと要約

本稿では、エントロピー正則化を用いない離散確率分布の Wasserstein バリオセントラの計算のために、対称 Gauss-Seidel ADMM (sGS-ADMM) を基盤とする高速でグローバルに線形収束するアルゴリズムを提案する。線形計画法の双対構造を活用することで、正確かつ効率的な部分問題の解法を実現し、収束が保証され、大規模データセットに対しても高精度な計算が可能である。

ABSTRACT

We consider the problem of computing a Wasserstein barycenter for a set of discrete probability distributions with finite supports, which finds many applications in areas such as statistics, machine learning and image processing. When the support points of the barycenter are pre-specified, this problem can be modeled as a linear programming (LP) problem whose size can be extremely large. To handle this large-scale LP, we analyse the structure of its dual problem, which is conceivably more tractable and can be reformulated as a well-structured convex problem with 3 kinds of block variables and a coupling linear equality constraint. We then adapt a symmetric Gauss-Seidel based alternating direction method of multipliers (sGS-ADMM) to solve the resulting dual problem and establish its global convergence and global linear convergence rate. As a critical component for efficient computation, we also show how all the subproblems involved can be solved exactly and efficiently. This makes our method suitable for computing a Wasserstein barycenter on a large-scale data set, without introducing an entropy regularization term as is commonly practiced. In addition, our sGS-ADMM can be used as a subroutine in an alternating minimization method to compute a barycenter when its support points are not pre-specified. Numerical results on synthetic data sets and image data sets demonstrate that our method is highly competitive for solving large-scale Wasserstein barycenter problems, in comparison to two existing representative methods and the commercial software Gurobi.

研究の動機と目的

• 離散確率分布の Wasserstein バリオセントラを効率的かつ高精度に計算するためのアルゴリズムを開発すること。
• 既存手法で生じる数値的不安定性やぼやけ効果を引き起こすエントロピー正則化を回避すること。
• 線形計画法の双対構造を活用することで、大規模問題を扱えるようにすること。
• 提案された sGS-ADMM 法のグローバル収束性およびグローバル線形収束速度を確立すること。
• ADMM フレームワークにおける部分問題を正確かつ効率的に解けるようにすることで、計算性能を向上させること。

提案手法

• Wasserstein バリオセントラ問題を、3つのブロック変数と結合等式制約を持つ双対線形計画問題に再定式化する。
• グローバル収束性およびグローバル線形収束速度を保証する、対称 Gauss-Seidel を用いた ADMM (sGS-ADMM) を双対問題に適用する。
• sGS-ADMM のすべての部分問題が、問題構造から導かれた閉形式の式を用いて正確かつ効率的に解かれる。
• エントロピー正則化を回避することで、輸送計画の正確性を保ち、数値的不安定性を避ける。
• サポート点が事前に指定されていない場合のバリオセントラ計算において、反復最小化フレームワークにこの手法をサブルーチンとして統合する。
• 計算コストが反復ごとに O(m∑ₜmₜ) に支配され、メモリ効率的かつ大規模データセットにスケーラブルな設計である。

(a) Distributions and barycenters

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化を用いない場合でも、グローバルに収束し、線形収束するアルゴリズムを開発できるか？
• RQ2 線形計画法の双対構造をどのように活用すれば、正確かつ効率的な部分問題の解法を実現できるか？
• RQ3 IBP や商業用ソルバー Gurobi といった正則化済み手法と比較して、提案された sGS-ADMM 法の計算パフォーマンスはどの程度か？
• RQ4 大規模データセットにスケーリングする際、高精度を維持しながら効率的に動作するか？
• RQ5 エントロピー正則化が欠落することで、輸送計画の品質および解釈可能性にどのような影響が生じるか？

主な発見

• 提案された sGS-ADMM 法は、Wasserstein バリオセントラ計算の双対問題に対してグローバル収束性およびグローバル線形収束速度を達成する。
• sGS-ADMM のすべての部分問題が、閉形式の解を用いて正確かつ効率的に解かれるため、反復的ソルバーを回避し、計算オーバーヘッドを低減する。
• エントロピー正則化を用いないことで、正則化手法で観察される輸送計画のぼやけを回避し、正確な Wasserstein バリオセントラを計算可能である。
• 合成データおよび画像データセットを用いた数値実験の結果、本手法は2つの代表的手法および商業ソルバー Gurobi と比較して、精度と効率の両面で優れていることが示された。
• 微小な正則化パラメータでも、本手法は高い精度を維持するが、IBP は収束が遅く数値的不安定性を示す。
• 反復ごとの計算コストは O(m∑ₜmₜ) であり、効率的な部分問題の解法により、大規模問題へのスケーリングが良好に実現されている。

(b) Transport plans for $n=500$