[論文レビュー] Smooth and Sparse Optimal Transport

Mathieu Blondel, Vivien Seguy+1 more|arXiv (Cornell University)|Oct 17, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用数 37

ひとこと要約

本稿では、強い凸性を伴う正則化項（具体的には二乗 $2$-ノルムとグループラasso正則化）を主問題および双対問題の最適輸送（OT）定式化に導入することで、滑らかでスパースな最適輸送フレームワークを提案する。エントロピー正則化とは異なり、スパースな輸送計画を生成するが、同時に微分可能性とSinkhornアルゴリズムによる効率的な最適化を維持する。理論的境界は、エントロピー正則化よりも近似誤差が小さい可能性を示している。

ABSTRACT

Entropic regularization is quickly emerging as a new standard in optimal transport (OT). It enables to cast the OT computation as a differentiable and unconstrained convex optimization problem, which can be efficiently solved using the Sinkhorn algorithm. However, entropy keeps the transportation plan strictly positive and therefore completely dense, unlike unregularized OT. This lack of sparsity can be problematic in applications where the transportation plan itself is of interest. In this paper, we explore regularizing the primal and dual OT formulations with a strongly convex term, which corresponds to relaxing the dual and primal constraints with smooth approximations. We show how to incorporate squared $2$-norm and group lasso regularizations within that framework, leading to sparse and group-sparse transportation plans. On the theoretical side, we bound the approximation error introduced by regularizing the primal and dual formulations. Our results suggest that, for the regularized primal, the approximation error can often be smaller with squared $2$-norm than with entropic regularization. We showcase our proposed framework on the task of color transfer.

研究の動機と目的

• エントロピー正則化による最適輸送の欠如するスパarsity（スパースでない輸送計画）を是正すること。これは、色の移行やドメイン適応などの応用分野における解釈可能性に不適切である。
• 強い凸性正則化を用いて、微分可能性と収束速度を維持しながらも、スパース解を可能にする滑らかな最適化フレームワークの開発。
• 正則化によって生じる近似誤差の理論的境界を導出し、二乗 $2$-ノルム正則化がエントロピー正則化よりも誤差境界において優れている可能性を示すこと。
• グループラassoのような非微分可能な正則化を含める枠組みの一般化により、輸送計画における構造的スパarsityを可能にすること。
• L-BFGSのような効率的なソルバーを用いることができる双対および半双対定式化の提供により、Dykstraのアルゴリズムよりも収束速度を向上させること。

提案手法

• 任意の強い凸関数 $\Omega$ を主問題のOTに正則化することで、滑らかにした双対および半双対定式化が得られる。
• 正則化項を $\delta_\Omega$ および $\text{max}_\Omega$ 関数として抽象化することで、双対および半双対表現を導出し、柔軟な最適化を可能にする。
• 主問題に二乗 $2$-ノルム正則化 $\frac{1}{2\gamma}\|T\mathbf{1}_n - \mathbf{a}\|^2$ を組み込む。これは、$\mathbf{a}$ の周辺制約を滑らかな近似に緩和することに対応する。
• 二乗ユークリッド距離を用いて主問題の周辺制約を緩和することで、双対問題に二乗 $2$-ノルム正則化を加えることと等価であることを示す。
• グループラasso正則化を適用して、応用分野における構造的スパarsityを実現するグループスパースな輸送計画を誘導する。
• 正則化問題の滑らかさを活用し、L-BFGSのような効率的な準ニュートンソルバーを用いることで、従来の交互最小化法よりも収束速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 強い凸性正則化を主問題および双対問題のOT定式化に適用することで、スパースな輸送計画を生成しつつ、滑らかさと微分可能性を維持できるか？
• RQ2 二乗 $2$-ノルム正則化の近似誤差は、エントロピー正則化と比較して、OT距離の誤差境界においてどのように異なるか？
• RQ3 グループラassoのような非微分可能な正則化にまでこのフレームワークを拡張可能か？これにより、輸送計画における構造的スパarsityが実現可能か？
• RQ4 主問題の周辺制約を滑らかな近似（例：二乗ユークリッド距離）で緩和することで、直接的な正則化と同等のスパースな計画が得られるか？
• RQ5 導出された双対および半双対定式化は、DykstraのアルゴリズムよりもL-BFGSのような現代的ソルバーを用いてより高速に収束を達成できるか？

主な発見

• 提案された二乗 $2$-ノルム正則化OT定式化は、スパースな輸送計画を生成する。色の移行実験では90%のスパarsityが観察され、非正則化OT（94%）と同等であり、エントロピー正則化（0%スパarsity）とは対照的である。
• 二乗 $2$-ノルム正則化を用いた正則化主問題の近似誤差は理論的に境界付けられており、同じ正則化パラメータ $\gamma$ に対してエントロピー正則化の誤差よりも小さい可能性がある。
• 主問題の周辺制約を二乗ユークリッド距離で緩和することで、双対問題に二乗 $2$-ノルム正則化を加えることと等価であることが示され、実験では91%のスパarsityを達成した。
• このフレームワークは、グループラassoのような非微分可能な正則化をサポートしており、エントロピー正則化では実現できない輸送計画における構造的スパarsityを可能にする。
• 導出された双対および半双対定式化により、L-BFGSのような効率的な準ニュートンソルバーの使用が可能となり、緩い正則化が施された問題ではDykstraのアルゴリズムよりも著しく高速に収束する。
• 理論的分析により、滑らかな双対および半双対定式化が適切に定義されており、微分可能であることが示され、機械学習パイプラインにおける微分可能な損失関数としての利用が可能である。