[論文レビュー] On Unbalanced Optimal Transport: An Analysis of Sinkhorn Algorithm

Khiem Pham, Khang Le+3 more|arXiv (Cornell University)|Feb 9, 2020

Markov Chains and Monte Carlo Methods参考文献 26被引用数 18

ひとこと要約

本稿は、質量が異なる可能性がある離散測度間のエントロピー正則化不均衡最適輸送（UOT）を解くためのSinkhornアルゴリズムの計算複雑性解析を提供し、複雑性バウンド $ widetilde{ mathcal{O}}(n^2 / varepsilon)$ を証明している。これは、標準的最適輸送の既知の最良バウンドよりもタイトである。解析は、双対更新の幾何的収束と、プライマル解のスケーリング特性に依存しており、緩い周辺制約のおかげでUOTが収束を高速化できることを示している。

ABSTRACT

We provide a computational complexity analysis for the Sinkhorn algorithm that solves the entropic regularized Unbalanced Optimal Transport (UOT) problem between two measures of possibly different masses with at most $n$ components. We show that the complexity of the Sinkhorn algorithm for finding an $\varepsilon$-approximate solution to the UOT problem is of order $\widetilde{\mathcal{O}}(n^2/ \varepsilon)$, which is near-linear time. To the best of our knowledge, this complexity is better than the complexity of the Sinkhorn algorithm for solving the Optimal Transport (OT) problem, which is of order $\widetilde{\mathcal{O}}(n^2/\varepsilon^2)$. Our proof technique is based on the geometric convergence of the Sinkhorn updates to the optimal dual solution of the entropic regularized UOT problem and some properties of the primal solution. It is also different from the proof for the complexity of the Sinkhorn algorithm for approximating the OT problem since the UOT solution does not have to meet the marginal constraints.

研究の動機と目的

• 離散測度間のエントロピー正則化不均衡最適輸送（UOT）を解くためのSinkhornアルゴリズムの計算複雑性を確立すること。
• UOTにおける周辺制約の欠如が、標準的最適輸送（OT）と比較して収束速度に与える影響を分析すること。
• UOTにおける $ varepsilon$-近似解を達成するために必要な反復回数のタイトな上界を導出すること。
• 合成データおよびMNISTを用いた実験により、理論的複雑性バウンドを検証すること。
• 今後の拡張、例えばマルチマージナルUOTやUOTバリセントラ問題に対する結果の意味を検討すること。

提案手法

• エントロピー正則化UOT問題における双対変数更新の幾何的減少率を用いたSinkhornアルゴリズムの収束に関する理論的解析。
• プライマル解のスケーリング特性とコスト行列 $C$ の構造に基づくバウンドの導出。
• UOT定式化におけるKullback-Leibler（KL）ダイバージェンスをペナルティ関数として用い、Sinkhorn反復による効率的計算を可能にした。
• 対数および漸近的近似を用いて、$ widetilde{\mathcal{O}}(n^2 / \n varepsilon)$ スケーリングの複雑性バウンドを導出。
• 合成データおよびMNIST画像を用いた実験的検証により、理論的反復回数 ($k_f$) と観測反復回数 ($k_c$) を比較。
• 理論的バウンドのタイトさを評価するため、収束比 $\|v^k - v^*\|_\infty / \|u^{k+1} - u^*\|_\infty$ を分析。

実験結果

リサーチクエスチョン

• RQ1 $ varepsilon$-精度で不均衡最適輸送を近似するためのSinkhornアルゴリズムの計算複雑性は何か？
• RQ2 UOTにおける周辺制約の欠如が、標準的OTと比較して収束速度に与える影響は何か？
• RQ3 UOTの理論的複雑性バウンドは、標準的OTのものよりもタイトである可能性があるか？ もしそうなら、その理由は何か？
• RQ4 複雑性バウンドに含まれる対数項は、実際の収束行動とどのように関係しているか？
• RQ5 理論的反復回数は、MNISTなどの実世界データセットにおける実効的性能をどの程度正確に予測できるか？

主な発見

• 不均衡最適輸送のためのSinkhornアルゴリズムは、複雑性バウンド $ widetilde{ mathcal{O}}(n^2 / varepsilon)$ を達成しており、これは標準的OTの $ widetilde{ mathcal{O}}(n^2 / varepsilon^2)$ バウンドよりも優れている。
• 複雑性の向上は、UOTにおける周辺制約の緩和に起因し、これにより更新により多くの自由度が与えられ、収束が加速される。
• 合成データにおける実験結果から、理論的反復回数 $k_f$ と観測反復回数 $k_c$ の比 $k_f / k_c$ は、$ varepsilon$ が1から $10^{-4}$ に減少するにつれて約18から約8に減少し、極限において理論的バウンドがよりタイトであることが示された。
• MNISTデータセットでは、実測の対数反復回数 $ log(k_c)$ が理論的 $ log(k_f)$ とよく一致しており、複雑性バウンドの妥当性が確認された。
• 双対変数差の観測収束比は、理論的幾何的係数 $ frac{\tau + \eta}{\tau} = 1.1$ に近く保たれており、導出された不等式がほぼタイトであることが示唆された。
• バウンドに含まれる対数項は、中間の不等式における非最適性に起因しており、よりタイトな解析によって改善可能である可能性がある。