[논문 리뷰] Learning Cost Functions for Optimal Transport

Ma, Shaojun, Haodong Sun외 3명|arXiv (Cornell University)|2020. 02. 22.

Sparse and Compressive Sensing Techniques참고 문헌 45인용 수 6

한 줄 요약

이 논문은 이중 최적화의 계산적 병목 현상을 피하기 위해 이중 최적화 문제를 비제약 문제로 재구성함으로써 최적 운반(OT)에서 비용 함수를 학습하기 위한 새로운 볼록 최적화 프레임워크를 제안한다. 이는 이산 OT에 대한 Sinkhorn-Knopp 기반 행렬 스케일링 알고리즘과 연속 OT에 대한 딥 뉴럴 네트워크 기반 방법을 도입하여 기존 방법보다 뛰어난 효율성과 정확도를 달성한다.

ABSTRACT

Inverse optimal transport (OT) refers to the problem of learning the cost function for OT from observed transport plan or its samples. In this paper, we derive an unconstrained convex optimization formulation of the inverse OT problem, which can be further augmented by any customizable regularization. We provide a comprehensive characterization of the properties of inverse OT, including uniqueness of solutions. We also develop two numerical algorithms, one is a fast matrix scaling method based on the Sinkhorn-Knopp algorithm for discrete OT, and the other one is a learning based algorithm that parameterizes the cost function as a deep neural network for continuous OT. The novel framework proposed in the work avoids repeatedly solving a forward OT in each iteration which has been a thorny computational bottleneck for the bi-level optimization in existing inverse OT approaches. Numerical results demonstrate promising efficiency and accuracy advantages of the proposed algorithms over existing state-of-the-art methods.

연구 동기 및 목표

• 관측된 운반 계획으로부터 최적 운반에서 비용 함수를 학습하는 문제에 대응하는 것. 이는 정확한 데이터 표현 및 추론에 필수적이다.
• 기존의 이중 최적화 접근법이 정방향 OT 문제를 반복적으로 해결해야 하는 계산적 비효율성을 해결하는 것.
• 사용자 정의 가능한 정규화를 지원하고 이론적 분석이 가능한 일반적인 비제약 볼록 공식화를 개발하는 것.
• 제안된 공식화 하에서 비용 함수의 해의 유일성과 이중 변수의 유계 변동성과 같은 이론적 성질를 보장하는 것.
• 반복적인 정방향 OT 해를 풀지 않고도 고차원 설정에 스케일링 가능한 효율적인 수치 알고리즘을 설계하는 것.

제안 방법

• 엔트로피 정규화된 OT 프레임워크를 사용하여 이중 최적화 문제를 비제약 볼록 최적화 문제로 재구성함으로써 효율적 최적화와 이론적 분석이 가능하도록 한다.
• 이중 변수와 비용 행렬을 번갈아 가며 갱신하는 방식으로, Sinkhorn-Knopp 알고리즘 기반의 행렬 스케일링 알고리즘을 제안하여 이산 이중 최적화 문제를 해결한다.
• 연속 OT를 위한 딥 러닝 기반 방법을 도입하여 비용 함수를 신경망으로 매개변수화함으로써 복잡한 비용 구조의 종단 간 학습을 가능하게 한다.
• 학습된 비용 함수의 부드러움 또는 희박성과 같은 원하는 성질을 유도하기 위해 이중 최적화 공식화에 정규화를 통합한다.
• 이중 변수의 유계성을 유지하기 위해 변수 재스케일링을 적용한 블록 좌표 강하(BCD)를 사용하여 수치적 안정성과 수렴성을 확보한다.
• 이중 변수를 유계 집합 내에 유지하기 위한 재스케일링 전략을 적용하여, 리프시츠-스무쓰 문제에 대한 기존 BCD 결과를 활용한 수렴 보장이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 이중 최적 운반 문제를 이중 최적화의 계산적 부담을 피하기 위해 비제약 볼록 최적화 문제로 재구성할 수 있는가?
• RQ2 제안된 공식화 하에서 해의 유일성과 이중 변수의 유계 변동성과 같은 이론적 성질은 무엇인가?
• RQ3 반복적인 정방향 OT 문제를 해결하지 않고도 효율적인 수치 알고리즘을 설계할 수 있는가?
• RQ4 딥 뉴럴 네트워크는 연속 이중 최적 운반에서 비용 함수를 효과적으로 매개변수화할 수 있는가? 이는 민첩하고 데이터 기반의 비용 학습을 가능하게 하는가?
• RQ5 특히 유계 변수를 가진 블록 좌표 강하의 맥락에서, 제안된 알고리즘에 대해 어떤 수렴 보장을 확보할 수 있는가?

주요 결과

• 제안된 이중 최적 운반 공식화는 비제약적이며 볼록적이므로 효율적 최적화와 해의 유일성 및 안정성에 대한 이론적 분석이 가능하다.
• Sinkhorn-Knopp 기반의 행렬 스케일링 알고리즘은 정리 10의 수렴 한계에 따라 전역 하향선형 수렴 속도 O(1/k)로 수렴한다.
• 재스케일링를 통해 이중 변수의 유계성을 유지함으로써 수치적 안정성 확보 및 수렴 보장이 가능하다.
• 딥 러닝 기반 방법은 비용 함수를 신경망으로 성공적으로 매개변수화하여 연속 OT 환경에서 민감하고 데이터 기반의 비용 학습이 가능하다.
• 수치적 결과는 두 제안된 알고리즘이 특히 고차원 설정에서 기존 최고 수준의 방법보다 효율성과 정확도에서 뛰어남을 보여준다.
• 기존의 이중 최적화에서 반복적인 정방향 OT 해를 풀어야 하는 문제를 피함으로써, 이중 최적 운반의 계산 비용을 크게 감소시킨다.