[논문 리뷰] Tensor optimal transport, distance between sets of measures and tensor scaling

Shmuel Friedland|arXiv (Cornell University)|2020. 05. 02.

Markov Chains and Monte Carlo Methods참고 문헌 34인용 수 4

한 줄 요약

이 논문은 $d > 2$인 이산 확률 측도에 대해 텐서 최적 운반(TOT)을 도입하여, 엔트로피 정규화와 새로운 싱크혼 유형 알고리즘을 통해 행렬 케이스를 일반화한다. 알고리즘은 $O(\omega^3 d^4 n^{d+1} \log n / \delta^3)$의 연산에서 $\epsilon$-근사해로 기하학적 수렴을 보이며, 고차원 구조로 고전적 최적 운반을 확장하고, 증명 가능한 복잡도와 수렴 보장을 제공한다.

ABSTRACT

We study the optimal transport problem for $d>2$ discrete measures. This is a linear programming problem on $d$-tensors. It gives a way to compute a "distance" between two sets of discrete measures. We introduce an entropic regularization term, which gives rise to a scaling of tensors. We give a variation of the celebrated Sinkhorn scaling algorithm. We show that this algorithm can be viewed as a partial minimization algorithm of a strictly convex function. Under appropriate conditions the rate of convergence is geometric and we estimate the rate. Our results are generalizations of known results for the classical case of two discrete measures.

연구 동기 및 목표

• $d$-텐서를 사용하여 두 개의 이산 확률 측도에서 $d > 2$의 이산 확률 측도로 최적 운반을 일반화하기.
• 비음수 텐서 위의 선형계획법 설정을 통해 두 집합의 $d$개의 이산 확률 측도 사이의 거리 정의하기.
• 엔트로피 정규화와 텐서 스케일링을 사용한 계산 효율적인 근사 방법 개발하기.
• 엄밀한 볼록성과 부분 최소화 프레임워크 하에서 제안된 알고리즘의 기하학적 수렴 속도 확립하기.
• 기존의 행렬 최적 운반 결과(예: 싱크혼 알고리즘)를 엄밀한 복잡도 및 근사 오차 한계 보장과 함께 텐서 설정으로 확장하기.

제안 방법

• 모든 모드에 대한 마진 제약 조건을 갖는 비음수 $d$-텐서 위의 선형계획법으로 텐서 최적 운반(TOT) 문제 수립하기.
• TOT 문제에 엔트로피 정규화 도입하여, 반복적 스케일링에 적합한 엄밀한 볼록 최적화 문제로 변환하기.
• 마진 제약 조건에 대한 교대 최소화 방식으로 작동하는 텐서용 싱크혼 알고리즘의 변형 제안하기.
• 엄밀한 볼록 함수의 부분 최소화를 사용하여 수렴 분석하고, 알고리즘을 비음수 텐서의 반복적 스케일링과 연결하기.
• $d$개의 모든 모드에서 일관성을 확보하기 위해 $\mu$-모드 편개와 마진화를 통한 텐서 수축 및 스케일링 연산 사용하기.
• 정규화된 목적 함수의 헤시안과 기울기 행동 분석을 통해 수렴 속도 유도하며, 적절한 조건 하에서 기하학적 수렴을 보여주기.

실험 결과

연구 질문

• RQ1 고차원 텐서를 사용하여 두 개의 이산 확률 측도에서 $d > 2$의 이산 확률 측도로 최적 운반을 어떻게 일반화할 수 있는가?
• RQ2 주어진 정확도 $\delta$로 텐서 최적 운반 문제를 근사하는 데 필요한 계산 복잡도는 무엇인가?
• RQ3 싱크혼 알고리즘이 엄밀한 수렴 및 속도 보장을 갖는 $d$-텐서로 어떻게 확장될 수 있는가?
• RQ4 엔트로피 정규화는 텐서 스케일링 과정의 구조와 수렴에 어떤 영향을 미치는가?
• RQ5 엄밀한 볼록 함수의 부분 최소화와 텐서 설정에서의 반복적 스케일링 알고리즘 간의 관계는 무엇인가?

주요 결과

• 제안된 알고리즘은 $\omega$가 비용 텐서 요소의 범위일 때, $O(\omega^3 d^4 n^{d+1} \log n / \delta^3)$의 연산에서 텐서 최적 운반 문제의 $\delta$-근사해를 계산한다.
• 알고리즘은 정규화된 목적 함수의 유일한 최소화자로 기하학적으로 수렴하며, 이 속도는 잠재 함수의 강한 볼록성에 의해 제한된다.
• 텐서 스케일링 과정은 엄밀한 볼록 함수에 적용된 부분 최소화 알고리즘과 동치이며, 전역 수렴을 보장한다.
• 알고리즘의 반복은 모든 마진 제약 조건으로 정의된 암시적 부분공간 위로의 연속 투영과 대응하며, $\mathrm{U}(P)$, 즉 타당한 운반 계획의 집합에 수렴한다.
• 최종 출력 $\mathcal{A}_\star$는 모든 $k \in [d]$에 대해 $\mathcal{A}_\star \times_k \mathcal{J}_{d-1} = \mathbf{p}_k$를 만족하는 확률 텐서이며, 타당성을 확인한다.
• 알고리즘의 수렴이 기하학적임이 입증되었으며, 이 속도는 정규화된 목적 함수의 헤시안의 조건수에 따라 달라진다.