[論文レビュー] Computational Optimal Transport

Gabriel Peyré, Marco Cuturi|arXiv (Cornell University)|Mar 1, 2018

Data Management and Algorithms被引用数 40

ひとこと要約

最適輸送理論の包括的な概観で、計算方法に焦点を当て、カントロヴィッチ緩和、エントロピー正則化、および離散・連続測度のスケーラブルなアルゴリズムを含む。

ABSTRACT

Optimal transport (OT) theory can be informally described using the words of the French mathematician Gaspard Monge (1746-1818): A worker with a shovel in hand has to move a large pile of sand lying on a construction site. The goal of the worker is to erect with all that sand a target pile with a prescribed shape (for example, that of a giant sand castle). Naturally, the worker wishes to minimize her total effort, quantified for instance as the total distance or time spent carrying shovelfuls of sand. Mathematicians interested in OT cast that problem as that of comparing two probability distributions, two different piles of sand of the same volume. They consider all of the many possible ways to morph, transport or reshape the first pile into the second, and associate a "global" cost to every such transport, using the "local" consideration of how much it costs to move a grain of sand from one place to another. Recent years have witnessed the spread of OT in several fields, thanks to the emergence of approximate solvers that can scale to sizes and dimensions that are relevant to data sciences. Thanks to this newfound scalability, OT is being increasingly used to unlock various problems in imaging sciences (such as color or texture processing), computer vision and graphics (for shape manipulation) or machine learning (for regression, classification and density fitting). This short book reviews OT with a bias toward numerical methods and their applications in data sciences, and sheds lights on the theoretical properties of OT that make it particularly useful for some of these applications.

研究の動機と目的

• 確率空間上の幾何学との結びつきと最適輸送の理論的基礎を説明する。
• 大規模問題へのスケーラビリティを重視した、OT問題を解くための計算フレームワークとアルゴリズムを提示する。
• 離散OTと連続OTを橋渡しし、データサイエンス応用の実用的な計算について論じる。
• OTの一般化と拡張を概観し、それを関連する統計・情報理論的アプローチと結びつける。

提案手法

• ヒストグラムと測度を導入し、OT問題をMonge and Kantorovich formsで定義する。
• Kantorovich relaxationを導出し、結合に対する線形計画として、質量の分割を可能にする。
• デュアル定式化、ネットワークベースおよびオークション型アルゴリズム、そして輸送計画の構造を論じる。
• エントロピー正則化と Sinkhorn’s algorithm、安定性と対数ドメイン実装を含む。
• 半離散OT、W1、動的定式化、および Gromov–Wasserstein やスライス輸送などの拡張を扱う。

実験結果

リサーチクエスチョン

• RQ1 大規模な離散・連続測度に対して、最適輸送をどのように効率的に定式化し解くことができるか？
• RQ2 OT計算を可能にする主要なアルゴリズム戦略（例：Kantorovich relaxation、エントロピー正則化）は何か？
• RQ3 離散OTと連続OTはどのように関連し、データサイエンス応用の実践的な架け橋となるのか？
• RQ4 OT の重要な拡張と一般化は何で、それらは関連する推論と情報理論的概念とどのようにつながるのか？

主な発見

• OT は Monge maps または Kantorovich couplings によって定式化でき、後者は質量の分割と凸最適化を可能にする。
• Kantorovich’s formulation は Birkhoff polytope 上の線形計画へと繋がり、計算的妥当性と解の存在を保証する。
• Entropic regularization はより速く、よりスケーラブルなアルゴリズム（例：Sinkhorn）を生み、対数ドメインでの安定実装を可能にする。
• 本書は OT を半離散設定、Wp 距離、動的定式化、および Gromov–Wasserstein やスライドOT などの拡張へと結びつける。
• OT 理論と数値法、カーネル法、情報理論を実践的なデータサイエンス問題へ結びつける相互作用を強調する。