[논문 리뷰] Subspace Robust Wasserstein Distances

François-Pierre Paty, Marco Cuturi|arXiv (Cornell University)|2019. 01. 25.

Point processes and geometric inequalities인용 수 55

한 줄 요약

이 논문은 Subspace Robust Wasserstein Distances (SRW)를 최적 운송의 강건한 변형으로 제시합니다. k-차원 부분공간을 사용하여 max-min(또는 min-max) 운송 비용을 정의하고, 촘촘한 볼록 완화와 계산을 위한 엔트로피 규제 알고리즘을 제공합니다.

ABSTRACT

Making sense of Wasserstein distances between discrete measures in high-dimensional settings remains a challenge. Recent work has advocated a two-step approach to improve robustness and facilitate the computation of optimal transport, using for instance projections on random real lines, or a preliminary quantization of the measures to reduce the size of their support. We propose in this work a "max-min" robust variant of the Wasserstein distance by considering the maximal possible distance that can be realized between two measures, assuming they can be projected orthogonally on a lower $k$-dimensional subspace. Alternatively, we show that the corresponding "min-max" OT problem has a tight convex relaxation which can be cast as that of finding an optimal transport plan with a low transportation cost, where the cost is alternatively defined as the sum of the $k$ largest eigenvalues of the second order moment matrix of the displacements (or matchings) corresponding to that plan (the usual OT definition only considers the trace of that matrix). We show that both quantities inherit several favorable properties from the OT geometry. We propose two algorithms to compute the latter formulation using entropic regularization, and illustrate the interest of this approach empirically.

연구 동기 및 목표

• 고차원에서 표준 OT의 불안정성과 강건한 지표의 필요성을 동기 부여한다.
• Wasserstein 거리의 투영 및 부분공간 강건성 개념을 도입한다.
• 저랭크 고유값 목적함수로 축소되는 볼록 완화를 도출한다.
• 엔트로피 규제 및 샐포인트 최적화를 통해 SRW를 계산하는 알고리즘을 제공한다.
• 합성 데이터와 실제 데이터에서 강건성과 실용적 성능을 입증한다.

제안 방법

• k-차원 투영 강건 Wasserstein 거리 PRW 및 k-차원 부분공간 강건 Wasserstein 거리 SRW를 정의한다.
• SRW가 교통 계획의 상위 k개 고유값의 합의 교통 계획에 대한 최소값으로 쓸 수 있음을 보인다.
• 엄밀한 볼록 완화(정리 1)가 SRW^2를 d_Omega라는 Mahalanobis 거리의 Wasserstein 비용의 k-차원 Omega 위의 최대값과 동일하다는 것을 증명한다.
• Omega와 운송 계획을 최적화하기 위한 투영된 초 기울기 방법과 엔트로피 규제를 활용한 Frank-Wolfe 방법 등 계산 전략을 개발한다.
• 초기화 및 중지 기준에 대해 논의하며, warm-start 및 d에서 1까지의 k에 대한 반복적 체계를 포함한다.

실험 결과

연구 질문

• RQ1 하위공간 투영을 통해 차원 높은 섭동에 대해 Wasserstein 거리를 어떻게 강건하게 만들 수 있는가?
• RQ2 최대-최소 투영 문제를 해석 가능한 볼록 완화로 재구성할 수 있는가?
• RQ3 SRW와 표준 OT 사이의 기하학적 관계 및 거리에 관한 관계는 무엇인가?
• RQ4 엔트로피 규제 및 샐-포인트 최적화를 사용하여 SRW를 어떻게 효율적으로 계산할 수 있는가?
• RQ5 SRW 거리는 잡음에 대해 강건하며 지오데시 구조를 보존하는가?

주요 결과

• SRW는 핵심 OT 특성을 물려받고 차원 의존 상수에 따라 Wasserstein에 거의 동등하며, S_k와 W 사이의 명시적 경계가 있다.
• SRW 공간에서 지오데시크를 갖는 등속 보간을 정의하며, OT의 지오데시 구조를 반영한다.
• 변위 공분산 행렬의 상위 k개 고유값의 합이 SRW를 지배하고, 계산을 위한 볼록 완화를 가능하게 한다.
• 실용적인 두 가지 알고리즘이 제안된다: 투영 초기울기 방법과 엔트로피 규제를 갖는 Frank-Wolfe 방법은 모두 내부 OT 해를 활용한다.
• 조각화된 하이퍼큐브, 다변량 가우시안 유사 설정, 실제 영화 대본 데이터에 대한 실험적 결과는 SRW의 잡음에 대한 강건성과 차원 변화 하에서의 바람직한 거동을 보여준다.