[論文レビュー] On the Efficiency of Entropic Regularized Algorithms for Optimal Transport

Tianyi Lin, Nhat Ho+1 more|arXiv (Cornell University)|Jun 1, 2019

RNA Research and Splicing被引用数 5

ひとこと要約

この論文は、エントロピー正則化最適輸送アルゴリズムの複雑さの上限を改善し、APDAMD—鏡映写像 $\phi$ を事前に指定した一般化された自己適応プライマル・デュアル加速手法—を導入し、複雑さ $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ を達成した。また、推定列を用いた決定的で加速されたSinkhornの変種を提案し、複雑さ $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$ を達成した。既存の研究で誤って提示された境界を是正し、Greenkhorn、APDAMD、および加速されたSinkhornの優れた実験的性能を確認した。

ABSTRACT

We present several new complexity results for the entropic regularized algorithms that approximately solve the optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. First, we improve the complexity bound of a greedy variant of Sinkhorn, known as extit{Greenkhorn}, from $\widetilde{O}(n^2\varepsilon^{-3})$ to $\widetilde{O}(n^2\varepsilon^{-2})$. Notably, our result can match the best known complexity bound of Sinkhorn and help clarify why Greenkhorn significantly outperforms Sinkhorn in practice in terms of row/column updates as observed by~\citet{Altschuler-2017-Near}. Second, we propose a new algorithm, which we refer to as extit{APDAMD} and which generalizes an adaptive primal-dual accelerated gradient descent (APDAGD) algorithm~\citep{Dvurechensky-2018-Computational} with a prespecified mirror mapping $ϕ$. We prove that APDAMD achieves the complexity bound of $\widetilde{O}(n^2\sqrtδ\varepsilon^{-1})$ in which $δ>0$ stands for the regularity of $ϕ$. In addition, we show by a counterexample that the complexity bound of $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ proved for APDAGD before is invalid and give a refined complexity bound of $\widetilde{O}(n^{5/2}\varepsilon^{-1})$. Further, we develop a extit{deterministic} accelerated variant of Sinkhorn via appeal to estimated sequence and prove the complexity bound of $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$. As such, we see that accelerated variant of Sinkhorn outperforms Sinkhorn and Greenkhorn in terms of $1/\varepsilon$ and APDAGD and accelerated alternating minimization (AAM)~\citep{Guminov-2021-Combination} in terms of $n$. Finally, we conduct the experiments on synthetic and real data and the numerical results show the efficiency of Greenkhorn, APDAMD and accelerated Sinkhorn in practice.

研究の動機と目的

• Greenkhornの理論的複雑さの上限を $\widetilde{O}(n^2\varepsilon^{-3})$ から $\widetilde{O}(n^2\varepsilon^{-2})$ に改善すること。
• 鏡写像 $\phi$ を事前に指定したAPDAGDの一般化である、新しいアルゴリズムAPDAMDを提案すること。
• APDAGDの以前に主張された複雑さの上限 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ が誤りであることを示し、修正された境界 $\widetilde{O}(n^{5/2}\varepsilon^{-1})$ を確立すること。
• 推定列技術を用いて、決定的で加速されたSinkhornの変種を開発し、$\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$ の複雑さを達成すること。
• 合成データおよびMNISTを用いた実験を通じて、Greenkhorn、APDAMD、および加速されたSinkhornの効率性を検証すること。

提案手法

• 著者らは、鏡写像 $\phi$ を事前に指定することでAPDAGDアルゴリズムを一般化し、APDAMDを導入した。これにより、より柔軟で正則化された最適化フレームワークが実現された。
• APDAMDの複雑さの境界を $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ と証明した。ここで $\delta > 0$ は $\phi$ の正則性を定量化する。これは、以前の結果を改善する。
• APDAGDの以前に主張された複雑さの境界 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ を否定する反例を構築し、修正された境界 $\widetilde{O}(n^{5/2}\varepsilon^{-1})$ を得た。
• 推定列技術を用いて、決定的で加速されたSinkhornの変種を開発し、$1/\varepsilon$ の観点で改善された収束を達成した。
• 理論的分析では、プライマル・デュアル法とエントロピー正則化を組み合わせ、ミラー降下法の性質と自己適応ステップサイズの特徴を活用した。
• 実験的検証は、合成データおよびMNIST画像を用い、正則化パラメータを変化させた際の行/列更新回数、競合比、実行時間を指標として測定した。

実験結果

リサーチクエスチョン

• RQ1 Greenkhornの複雑さの境界をSinkhornと一致させることは可能か？ また、これはその行/列更新における実用的優位性を説明できるか？
• RQ2 APDAGDの正しい複雑さの境界は何か？ 一般条件下で成り立つか、それとも修正が必要か？
• RQ3 推定列を用いて、決定的で加速されたSinkhornの変種を構築することは可能か？ どのような複雑さを達成するか？
• RQ4 APDAMDは、APDAGDおよび他の手法と比較して、ロバスト性と収束速度の点でどのように差がつくか？
• RQ5 提案されたアルゴリズム—Greenkhorn、APDAMD、および加速されたSinkhorn—は、合成データおよび実世界のデータにおいて一貫した実験的利点を示すか？

主な発見

• Greenkhornの複雑さの境界は、$\widetilde{O}(n^2\varepsilon^{-3})$ から $\widetilde{O}(n^2\varepsilon^{-2})$ に改善され、Sinkhornの最高水準の境界と一致した。
• APDAGDの以前に主張された複雑さの境界 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ は誤りであり、修正された境界 $\widetilde{O}(n^{5/2}\varepsilon^{-1})$ が確立された。
• APDAMDは、$\delta > 0$ が鏡写像 $\phi$ の正則性を測る指標である $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ の複雑さを達成した。これは、APDAGDの一般化であり、より良い理論的保証を提供する。
• 推定列を用いて、決定的で加速されたSinkhornの変種が開発され、複雑さ $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$ を達成した。これは、$n$ および $1/\varepsilon$ の観点で、Sinkhorn、Greenkhorn、APDAGD、AAM よりも優れた性能を示した。
• MNISTおよび合成データに対する実験により、Greenkhorn、APDAMD、および加速されたSinkhornが実際の応用において効率的であることが確認された。APDAMDは、APDAGD や GCPB よりもより高いロバスト性を示した。
• 数値結果から、加速されたSinkhornが $\varepsilon$ に関する収束速度の観点で、Sinkhorn や Greenkhorn よりも一貫して優れており、$n$ の観点でも APDAGD や AAM よりも優れた性能を示したことが明らかになった。