[論文レビュー] Overrelaxed Sinkhorn-Knopp Algorithm for Regularized Optimal Transport

Alexis Thibault, Lénaïc Chizat+2 more|arXiv (Cornell University)|Nov 6, 2017

Optimization and Variational Analysis参考文献 34被引用数 15

ひとこと要約

本稿では、適応的オーバーリラクセーションとリャプノフ関数のモニタリングを通じて、グローバル収束を保証しつつ正則化最適輸送における収束を加速する、過剰に緩和されたシンクホルン–ノップアルゴリズムを提案する。収束の加速は、動的に調整される緩和パラメータを組み合わせることで、特に小さな正則化パラメータにおいて、標準的なシンクホルンアルゴリズムと比較して最大20倍の高速化を達成する。

ABSTRACT

This article describes a set of methods for quickly computing the solution to the regularized optimal transport problem. It generalizes and improves upon the widely-used iterative Bregman projections algorithm (or Sinkhorn--Knopp algorithm). We first propose to rely on regularized nonlinear acceleration schemes. In practice, such approaches lead to fast algorithms, but their global convergence is not ensured. Hence, we next propose a new algorithm with convergence guarantees. The idea is to overrelax the Bregman projection operators, allowing for faster convergence. We propose a simple method for establishing global convergence by ensuring the decrease of a Lyapunov function at each step. An adaptive choice of overrelaxation parameter based on the Lyapunov function is constructed. We also suggest a heuristic to choose a suitable asymptotic overrelaxation parameter, based on a local convergence analysis. Our numerical experiments show a gain in convergence speed by an order of magnitude in certain regimes.

研究の動機と目的

• 最適輸送における小さなエントロピー正則化パラメータに対して、標準的なシンクホルン–ノップアルゴリズムの収束が遅いという問題に対処すること。
• 元のアルゴリズムの1次的かつ並列化可能な構造を保ちつつ、グローバルに収束する加速手法を開発すること。
• 収束を保証しつつ収束速度を向上させる、実用的で適応的なオーバーリラクセーションスキームを提供すること。
• 過剰に緩和されたアルゴリズムの局所的収束速度を分析し、最適なオーバーリラクセーションパラメータを求めるヒューリスティックを導出すること。
• 数値的に、提案手法が特に小さなεにおいて、反復回数と実行時間の両面で標準的なシンクホルンよりも顕著に優れていることを示すこと。

提案手法

• 双対更新にオーバーリラクセーションを適用することで、標準的なシンクホルン–ノップアルゴリズムを一般化する過剰に緩和されたブレグマン射影スキームを導入する。
• 各反復でリャプノフ関数が減少するように制約を課すことにより、グローバル収束を保証する。
• 現在のリャプノフ関数の値に基づいて、オーバーリラクセーションパラメータを適応的に選択する戦略を提案する。
• SOR型反復の局所的収束解析を用いて、漸近的オーバーリラクセーションパラメータのヒューリスティックを導出する。
• 正則化非線形加速（RNA）技術をシンクホルンアルゴリズムに適用し、高速収束を達成するが、グローバル収束の保証はない。
• 二次のテイラー展開を用いて、固定点付近での適応的オーバーリラクセーションスキームの安定性と収束性を正当化する。

実験結果

リサーチクエスチョン

• RQ1 オーバーリラクセーションをシンクホルン–ノップアルゴリズムに適用することで、収束を加速しつつ、グローバル収束を保証できるか？
• RQ2 正則化最適輸送問題において、速度と安定性のバランスを取る最適なオーバーリラクセーションパラメータは何か？
• RQ3 リャプノフ関数に基づく適応的オーバーリラクセーション戦略は、どのように収束を保証し、性能を向上させるか？
• RQ4 提案手法は、特に小さな正則化パラメータにおいて、反復回数と実行時間の両面で標準的なシンクホルンをどの程度上回るか？
• RQ5 局所的収束解析から、実用的性能を向上させるための漸近的オーバーリラクセーションパラメータのヒューリスティックを導出できるか？

主な発見

• 提案された過剰に緩和されたアルゴリズムは、低正則化領域において、標準的なシンクホルンアルゴリズムと比較して20倍以上の高速化を達成する。
• 適応的オーバーリラクセーション戦略により、各反復でリャプノフ関数が減少することを保証することで、グローバル収束が確保される。
• 数値実験の結果、別問題に基づいて推定したオーバーリラクセーションパラメータが、同一問題に基づく測定値とほぼ同等の性能を示し、ロバスト性が裏付けられる。
• 過剰に緩和されたアルゴリズムの局所的収束速度は、標準的なシンクホルンよりも向上しており、最適なオーバーリラクセーションパラメータθ*がより速い収束を実現する。
• 本手法は、シンクホルンと同等の1反復あたりの計算量を維持しており、完全に並列化可能であるため、GPU加速に適している。
• 理論的解析により、オーバーリラクセーションパラメータが区間(1, θ₀)にある場合にグローバル収束が達成されることを確認しており、θ₀は元のアルゴリズムの局所的収束速度に依存する。