[論文レビュー] Sinkhorn Algorithm as a Special Case of Stochastic Mirror Descent

Konstantin Mishchenko|arXiv (Cornell University)|Sep 16, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用数 4

ひとこと要約

この論文は、Kullback-Leibler 散発をミラー写像および目的関数として用いる場合、Sinkhorn アルゴリズムが確率的ミラー降下の特殊な場合であることを確立している。主な貢献は、新しい理論的同等性であり、これにより非確率的「Pinkhorn」バージョンや相対的滑らかさを用いた加速バージョンを含む、最適輸送法の新展開が可能となり、2つの周辺制約を超えた拡張も可能になる。

ABSTRACT

We present a new perspective on the celebrated Sinkhorn algorithm by showing that is a special case of incremental/stochastic mirror descent. In order to see this, one should simply plug Kullback-Leibler divergence in both mirror map and the objective function. Since the problem has unbounded domain, the objective function is neither smooth nor it has bounded gradients. However, one can still approach the problem using the notion of relative smoothness, obtaining that the stochastic objective is 1-relative smooth. The discovered equivalence allows us to propose 1) new methods for optimal transport, 2) an extension of Sinkhorn algorithm beyond two constraints.

研究の動機と目的

• 確率的ミラー降下フレームワーク内に Sinkhorn アルゴリズムを組み込むことで、Sinkhorn アルゴリズムの新しい理論的解釈を提供すること。
• 非有界領域における Sinkhorn の収束保証の欠如を、相対的滑らかさを活用することで解決すること。
• 発見された同等性に基づいて、非確率的および加速型を含む、最適輸送アルゴリズムの新開発。
• 任意の線形系への一般化により、Sinkhorn アルゴリズムを2周辺制約を超えて拡張すること。
• エントロピー正則化最適輸送問題に、加速や近位法などの高度なミラー降下技術を適用可能にする。

提案手法

• エントロピー正則化最適輸送問題を、各線形制約に対応するKullback-Leibler 散発の和の最小化問題として定式化する。
• エントロピー・ミラー写像 $\omega(x) = x(\log x - 1)$ とステップサイズ $\eta = 1$ を用いたミラー降下更新が、線形制約集合へのBregman射影に等価であることを確立する。
• ミラー降下更新が $f_i(x) = \mathcal{KL}(\langle a_i, x\rangle \| b_i)$ の場合に、Bregman射影 $\Pi_{C_i}^\omega(x^k)$ に還元されることを示し、これにより Sinkhorn の行および列正規化ステップと一致することを証明する。
• 各 $f_i$ が $\omega$ に対して1-相対的滑らかであることを示し、非滑らか性および非有界勾配にもかかわらず収束解析が可能であることを示す。
• このフレームワークにより、新しい手法の設計が可能となる：『Pinkhorn』（非確率的ミラー降下）および相対的滑らか関数向けのネステロフ式加速を用いた加速Pinkhorn。
• 非負制約付きの任意の線形系 $Ax = b$ に確率的ミラー降下を適用することで、2周辺問題を超える一般化が可能となる。

実験結果

リサーチクエスチョン

• RQ1 Sinkhorn アルゴリズムは、確率的ミラー降下のような既知の最適化フレームワークの特殊な場合として形式的に解釈可能か？
• RQ2 エントロピー正則化最適輸送問題における滑らかさの欠如および非有界勾配は収束保証を無効にするか？ もしそうであれば、相対的滑らかさはこれを解決できるか？
• RQ3 Sinkhorn と確率的ミラー降下の同等性を活用して、より効率的な最適輸送アルゴリズムを設計可能か？
• RQ4 このフレームワークを用いて、2つ以上の周辺制約を持つ問題に Sinkhorn アルゴリズムを拡張可能か？
• RQ5 この再定式化を通じて、エントロピー正則化最適輸送に、加速や近位法などの高度なミラー降下技術を適用可能か？

主な発見

• Sinkhorn アルゴリズムが、Kullback-Leibler 散発をミラー写像および目的関数として用いる確率的ミラー降下の特殊な場合として形式的に示された。
• 再定式化された問題における目的関数は、エントロピー・ミラー写像に対して1-相対的滑らかであることが示され、非滑らか性および非有界勾配にもかかわらず収束解析が可能となった。
• 確率的要素を除去した非確率的手法『Pinkhorn』が提案され、Sinkhorn の決定的代替手法が得られた。
• 相対的滑らか最適化向けの既知の加速技術を用いて、『加速Pinkhorn』が導出され、収束速度が向上した。
• このフレームワークにより、2周辺制約を超えた任意の線形系へのSinkhorn アルゴリズムの一般化が可能となり、多周辺最適輸送への応用範囲が拡張された。
• 同等性のおかげで、近位作用素やラインサーチ法のような高度な最適化ツールが最適輸送の文脈で使用可能となり、新たな研究分野が開かれた。