[論文レビュー] Interior-Point Methods Strike Back: Solving the Wasserstein Barycenter Problem

Dongdong Ge, Haoyue Wang+2 more|arXiv (Cornell University)|May 30, 2019

Markov Chains and Monte Carlo Methods被引用数 13

ひとこと要約

本稿では、Wasserstein barycenter問題を効率的に解くために、ブロック行列構造を活用してニュートン反復を高速化する、新しい内点法、行列ベースの適応交互内点法（MAAIPM）を提案する。この手法は、最先端の1次および正則化手法よりも最大10倍速く、高精度な解を得ることができ、MNISTおよびFashion-MNISTベンチマークにおいてGurobiやMOSEKを上回る速度とスケーラビリティを実現した。

ABSTRACT

Computing the Wasserstein barycenter of a set of probability measures under the optimal transport metric can quickly become prohibitive for traditional second-order algorithms, such as interior-point methods, as the support size of the measures increases. In this paper, we overcome the difficulty by developing a new adapted interior-point method that fully exploits the problem's special matrix structure to reduce the iteration complexity and speed up the Newton procedure. Different from regularization approaches, our method achieves a well-balanced tradeoff between accuracy and speed. A numerical comparison on various distributions with existing algorithms exhibits the computational advantages of our approach. Moreover, we demonstrate the practicality of our algorithm on image benchmark problems including MNIST and Fashion-MNIST.

研究の動機と目的

• 大規模なWasserstein barycenter問題に対して、従来の2次元内点法（IPM）が計算的に非現実的であるという問題に取り組む。
• エントロピー正則化手法に内在する精度と速度のトレードオフを克服するため、正則化を施さない高精度なIPMを開発する。
• サポート点と輸送計画を同時に最適化する適応的アルゴリズムを設計し、収束性を向上させ、局所最適解からの脱出を可能にする。
• IPMにおける正規方程式のブロック行列構造を活用し、反復の複雑さを低減し、ニュートンステップを加速する。
• 実画像データセット（MNISTおよびFashion-MNISTなど）における提案手法の実用性とスケーラビリティを示す。

提案手法

• MAAIPMは、Mehrotraのアルゴリズムと適応的ステップ長およびセンター化パラメータ選択を用いた予測子・修正子IPMフレームワークを採用する。
• 問題固有の低ランクかつブロックスパース構造を活用することで、ニュートン方程式を効率的に解く2つのブロック行列ベースの高速化アルゴリズムを導入する。
• フリー・サポートbarycenter問題では、非制約二次計画問題を用いてサポート点を交互に更新し、「ジャンプ」ヒューリスティクスを適用して局所最適解からの脱出を図る。
• 2段階戦略を採用：初期段階ではサポート点の粗い更新を行い、収束に近づくと頻繁な微細な更新を行う。
• barycenter問題をO(Nm + ∑mi)本の制約とO(m∑mi + m)個の変数を有する線形計画問題として定式化し、構造に配慮した因子分解を用いたIPMを適用する。
• アルゴリズムは2次収束性を維持し、時間計算量はNおよびm′に関してほぼ線形となり、メモリ使用量は正則化手法と同程度の定数倍に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 問題固有の行列構造を活用することで、大規模なWasserstein barycenter問題に対して内点法をスケーラブルにできるか？
• RQ2 正則化を施さないIPMアプローチが、エントロピー正則化手法および1次手法に比べ、解の精度と計算効率において優れているか？
• RQ3 「ジャンプ」ヒューリスティクスを用いた適応的サポート点更新は、フリー・サポートbarycenter計算における収束性向上と局所最適解回避に寄与するか？
• RQ4 Gurobi、MOSEK、BADMM、IBPといった最先端のソルバーと比較して、提案されたMAAIPMは実画像データセットにおける解の品質と実行時間の両面で優れているか？
• RQ5 問題サイズ（N, m, mi）が、提案手法の反復回数および計算時間に与える影響は何か？

主な発見

• MAAIPMは、全テスト手法の中で2番目に短い計算時間で最小の目的関数値を達成し、GurobiやMOSEKを速度とスケーラビリティの両面で上回った。
• MNISTおよびFashion-MNISTにおいて、MAAIPMは200枚の数字「8」の画像に対して、最も明確でシャープなbarycenterを最も短い時間で計算した。計算時間は250秒未塔であった。
• N=5000の場合、MAAIPMは3098.23秒で処理を完了したが、MOSEKは20,000秒以上を要し、スケーラビリティの優位性が明確に示された。
• 問題サイズにかかわらず反復回数がほぼ一定を保ち、Nおよびm′に関してほぼ線形時間計算量であることが示された。
• フリー・サポートケースでは、MAAIPMは2番目に速い時間で最小の目的関数値を達成したが、ε=0.01のIBPは最も速かったものの、低品質な解を生成した。
• MAAIPMのメモリ使用量は効率的に管理されており、IBPと同程度の定数倍に抑えられ、GurobiやMOSEKに比べて大規模問題において顕著に低かった。