[論文レビュー] Tensor optimal transport, distance between sets of measures and tensor scaling

Shmuel Friedland|arXiv (Cornell University)|May 2, 2020

Markov Chains and Monte Carlo Methods参考文献 34被引用数 4

ひとこと要約

本稿は、$d > 2$ 個の離散確率測度に対してテンソル最適輸送（TOT）を導入し、エントロピー正則化と新規のSinkhorn型アルゴリズムを用いて行列ケースを一般化する。アルゴリズムが$\varepsilon$-近似解へ幾何的収束を示すことを証明し、$O(\omega^3 d^4 n^{d+1} \log n / \delta^3)$ の演算で収束する。古典的最適輸送を高次元構造へ拡張し、保証された複雑性と収束性を有する。

ABSTRACT

We study the optimal transport problem for $d>2$ discrete measures. This is a linear programming problem on $d$-tensors. It gives a way to compute a "distance" between two sets of discrete measures. We introduce an entropic regularization term, which gives rise to a scaling of tensors. We give a variation of the celebrated Sinkhorn scaling algorithm. We show that this algorithm can be viewed as a partial minimization algorithm of a strictly convex function. Under appropriate conditions the rate of convergence is geometric and we estimate the rate. Our results are generalizations of known results for the classical case of two discrete measures.

研究の動機と目的

• 2つの離散確率測度から$d > 2$ 個の離散確率測度へ最適輸送を一般化すること、$d$-テンソルを用いる。
• 非負のテンソル上の線形計画法による、$d$ 個の離散確率測度の2組間の距離を定義すること。
• エントロピー正則化とテンソルスケーリングを用いて、計算的に効率的な近似手法を開発すること。
• 厳密な凸性と部分最小化フレームワークの下で、提案されたアルゴリズムの幾何的収束レートを確立すること。
• 既知の結果（例：Sinkhornアルゴリズム）を行列最適輸送からテンソル設定へ拡張し、厳密な複雑性と近似誤差の上限を確立すること。

提案手法

• 各モードにおけるマージナル制約を持つ非負の$d$-テンソル上での線形計画問題として、テンソル最適輸送（TOT）問題を定式化する。
• TOT問題にエントロピー正則化を導入し、反復的スケーリングに適した強い凸最適化問題に変換する。
• マージナル制約の上での交互最小化を用いるテンソル用のSinkhornアルゴリズムの変種を提案する。
• 厳密な凸関数の部分最小化を用いて収束を分析し、アルゴリズムを非負テンソルの反復的スケーリングに結びつける。
• すべての$d$ モードにおいて整合性を保つために、$\pi$-モードの展開とマージナル化を用いたテンソルの縮約とスケーリング操作を採用する。
• 正則化された目的関数のヘッセ行列と勾配の挙動を分析することで収束レートを導出し、適切な条件下で幾何的収束を示す。

実験結果

リサーチクエスチョン

• RQ1 高次元テンソルを用いて、2つの測度から$d > 2$ 個の離散確率測度への最適輸送をどのように一般化できるか？
• RQ2 与えられた精度$\delta$でテンソル最適輸送問題を近似する際の計算複雑性は何か？
• RQ3 Sinkhornアルゴリズムを$d$-テンソルへ拡張可能か？ そして、収束性と収束レートの保証は得られるか？
• RQ4 エントロピー正則化は、テンソルスケーリングプロセスの構造と収束性にどのように影響を与えるか？
• RQ5 厳密な凸関数の部分最小化と、テンソル設定における反復的スケーリングアルゴリズムとの関係は何か？

主な発見

• 提案されたアルゴリズムは、$\omega$ をコストテンソルのエントリの範囲として、$O(\omega^3 d^4 n^{d+1} \log n / \delta^3)$ の演算で、テンソル最適輸送問題の$\delta$-近似解を計算する。
• アルゴリズムは、正則化された目的関数の唯一の最小値へ幾何的収束を示し、そのレートはポテンシャル関数の強い凸性によって上限が与えられる。
• テンソルスケーリングプロセスは、厳密な凸関数への部分最小化アルゴリズムに等価であり、グローバル収束を保証する。
• アルゴリズムの反復は、マージナル制約によって定義されるアフィン部分空間への逐次射影に対応し、$\mathrm{U}(P)$、すなわち実行可能輸送計画の集合に収束する。
• 最終出力$\mathcal{A}_\star$ は、すべての$k \in [d]$ に対して$\mathcal{A}_\star \times_k \mathcal{J}_{d-1} = \mathbf{p}_k$ を満たす確率テンソルであり、実行可能性が確認される。
• アルゴリズムの収束が幾何的であることが示され、そのレートは正則化された目的関数のヘッセ行列の条件数に依存する。