[논문 리뷰] Computational Optimal Transport

Gabriel Peyré, Marco Cuturi|arXiv (Cornell University)|2018. 03. 01.

Data Management and Algorithms인용 수 40

한 줄 요약

최적 운송 이론의 포괄적 고찰로, 계산 방법에 초점을 맞추고 Kantorovich 이완, 엔트로피 정규화, 그리고 이산 및 연속 측도에 대한 확장 가능한 알고리즘을 포함한다.

ABSTRACT

Optimal transport (OT) theory can be informally described using the words of the French mathematician Gaspard Monge (1746-1818): A worker with a shovel in hand has to move a large pile of sand lying on a construction site. The goal of the worker is to erect with all that sand a target pile with a prescribed shape (for example, that of a giant sand castle). Naturally, the worker wishes to minimize her total effort, quantified for instance as the total distance or time spent carrying shovelfuls of sand. Mathematicians interested in OT cast that problem as that of comparing two probability distributions, two different piles of sand of the same volume. They consider all of the many possible ways to morph, transport or reshape the first pile into the second, and associate a "global" cost to every such transport, using the "local" consideration of how much it costs to move a grain of sand from one place to another. Recent years have witnessed the spread of OT in several fields, thanks to the emergence of approximate solvers that can scale to sizes and dimensions that are relevant to data sciences. Thanks to this newfound scalability, OT is being increasingly used to unlock various problems in imaging sciences (such as color or texture processing), computer vision and graphics (for shape manipulation) or machine learning (for regression, classification and density fitting). This short book reviews OT with a bias toward numerical methods and their applications in data sciences, and sheds lights on the theoretical properties of OT that make it particularly useful for some of these applications.

연구 동기 및 목표

• 최적 운송의 이론적 기초와 이것이 확률 공간의 기하학과 어떻게 연결되는지 설명한다.
• 대규모 문제에 대한 확장성을 강조하면서 OT 문제를 해결하기 위한 계산 프레임워크와 알고리즘을 제시한다.
• 이산 OT와 연속 OT를 연결하고 데이터 과학 응용을 위한 실용적 계산에 대해 논의한다.
• OT의 일반화와 확장을 조사하고 이를 관련 통계학적 및 정보이론적 접근과 연결한다.

제안 방법

• 히스토그램와 측정치를 도입하고 Monge 및 Kantorovich 형태로 OT 문제를 정의한다.
• 연결(결합) 위의 선형 계획법으로 Kantorovich 이완을 도출하여 질량 분할을 가능하게 한다.
• 이중형식, 네트워크 기반 및 경매 유형 알고리즘, 운송 계획의 구조를 논의한다.
• 엔트로피 정규화와 Sinkhorn 알고리즘을 설명하고 안정성 및 로그 도메인 구현을 포함한다.
• 세미디스크리트 OT, W1, 동적 형식화 및 Gromov–Wasserstein 및 슬라이스 OT와 같은 확장을 다룬다.

실험 결과

연구 질문

• RQ1 대규모 이산 및 연속 측정에 대해 최적 운송을 어떻게 효율적으로 형식화하고 해결할 수 있는가?
• RQ2 확장 가능한 OT 계산을 가능하게 하는 주요 알고리즘 전략은 무엇인가(예: Kantorovich 이완, 엔트로피 정규화 등)
• RQ3 이산 OT와 연속 OT는 어떻게 관련되며 데이터 과학 응용을 위한 그들 간의 실용적 다리는 무엇인가?
• RQ4 OT의 중요한 확장 및 일반화는 무엇이며 그것들이 관련 추론 및 정보 이론적 개념과 어떻게 연결되는가?

주요 결과

• OT는 Monge 맵이나 Kantorovich 결합을 통해 형식화될 수 있으며, 후자는 질량 분할과 볼록 최적화를 가능하게 한다.
• Kantorovich의 형식은 Birkhoff 다면체 위의 선형 계획법으로 이어져 계산적 타당성과 해의 존재를 보장한다.
• 엔트로피 정규화는 더 빠르고 확장 가능한 알고리즘(예: Sinkhorn)과 로그 도메인에서의 안정적 구현을 제공한다.
• 이 책/전고는 OT를 세미디스크리트 설정, Wp 거리, 동적 형식화, 그리고 Gromov–Wasserstein 및 슬라이스 OT와 같은 확장과 연결한다.
• 이 연구은 실용적 데이터 사이언스 문제를 위한 OT 이론과 수치해법, 커널 방법, 정보 이론 간의 상호작용을 강조한다.