[논문 리뷰] Differential Properties of Sinkhorn Approximation for Learning with Wasserstein Distance

Giulia Luise, Alessandro Rudi외 2명|arXiv (Cornell University)|2018. 05. 30.

Mathematical Analysis and Transform Methods참고 문헌 1인용 수 75

한 줄 요약

본 논문은 샤프 Sinkhorn 거리와 규제된 Sinkhorn 거리의 매끄러움을 모두 입증하고, 샤프 Sinkhorn 거리의 명시적 기울기를 도출하며, Wasserstein 거리와의 학습에서 이들의 사용을 보여준다. 이는 보편적 일관성과 학습 속도(learning rates)를 포함한 이론적 보장을 제시하며, 예비 실험으로 확인된다.

ABSTRACT

Applications of optimal transport have recently gained remarkable attention thanks to the computational advantages of entropic regularization. However, in most situations the Sinkhorn approximation of the Wasserstein distance is replaced by a regularized version that is less accurate but easy to differentiate. In this work we characterize the differential properties of the original Sinkhorn distance, proving that it enjoys the same smoothness as its regularized version and we explicitly provide an efficient algorithm to compute its gradient. We show that this result benefits both theory and applications: on one hand, high order smoothness confers statistical guarantees to learning with Wasserstein approximations. On the other hand, the gradient formula allows us to efficiently solve learning and optimization problems in practice. Promising preliminary experiments complement our analysis.

연구 동기 및 목표

• 정확도와 계산 용이성 사이의 trade-off를 다루어 Wasserstein 거리로의 학습을 위한 Sinkhorn 거리의 사용을 동기 부여한다.
• 표준 Sinkhorn 거리와 샤프 Sinkhorn 거리 모두 매끄럽고 (C^{∞}) 함을 보이고 학습을 위한 실용적 기울기 계산법을 도출한다.
• Sinkhorn 손실을 사용하는 추정기 에 대한 이론적 학습 보장(일관성 및 수율)을 제공한다.
• Sinkhorn 손실과 바센터를 활용한 학습을 통해 적용 가능성을 시연하고 예비 실증적 증거를 제공한다.

제안 방법

• 정규화된 Sinkhorn 문제의 이중형식을 분석하고 암시적 함수 정리를 이용해 T_{\lambda}(a,b)가 (a,b)에서 매끄럽다고 보인다.
• 듀얼 해(α_{*},β_{*})와 수송 계획 T_{\lambda}를 이용한 샤프 Sinkhorn 거리 S_{\lambda}의 닫힌 형태의 기울기를 도출한다(식 14–15).
• 이차식 Hessian를 이용한 이차형 목표의 저랭크 업데이트와 함께 ∇_{a}S_{\lambda}(a,b)를 효율적으로 계산하는 Algorithm 1을 제공한다.
• 기울기 공식을 사용해 샤프 Sinkhorn 거리를 이용한 바센터 계산을 수행하고 규제된 Sinkhorn 바센터와 질적으로 비교한다.
• 매끄러운 Sinkhorn 손실을 구조화된 예측 학습 프레임워크에 포함시키고 보편적 일관성 및 학습 속도(정리 4, 정리 5)를 분석한다.
• 기울기 계산의 계산 복잡도와 이러한 손실을 학습 작업에 적용할 때의 실용적 고려 사항을 논의한다.

실험 결과

연구 질문

• RQ1 샤프 Sinkhorn 거리와 규제된 Sinkhorn 거리가 가지는 미분적 특성은 무엇인가?
• RQ2 최적화 기반 학습을 가능하게 하기 위해 샤프 Sinkhorn 거리의 명시적 기울기를 계산할 수 있는가?
• RQ3 매끄러운 Sinkhorn 손실이 지도학습/구조화된 예측 설정에서 이론적 학습 보장(일관성 및 속도)을 제공하는가?
• RQ4 실제에서 샤프와 규제된 Sinkhorn 바센터의 비교는 어떠하며, 샤프 Sinkhorn이 Wasserstein 바센터에 더 나은 근사를 제공할 수 있는가?
• RQ5 기울기 계산의 실제 계산 비용은 얼마이며 문제 크기에 따라 어떻게 확장되는가?

주요 결과

• 두 Sinkhorn 거리는 도메인 내부에서 C^{\infty} (매끄럽다)이다.
• 샤프 Sinkhorn 거리 S_{\lambda}에 대한 명시적 기울기 공식이 듀얼 해와 수송 계획(Eq. 14)으로 도출된다.
• 기울기 계산은 듀얼 해essian과 저랭크 업데이트를 다루는 것으로 축약되어 실용적 최적화를 가능하게 한다(Algorithm 1).
• 저자는 구조화된 예측 프레임워크 내에서 매끄러운 Sinkhorn 손실을 최소화하는 학습 방법에 대한 보편적 일관성(Theorem 4)을 입증한다.
• 표준 규칙성 하에 제안된 추정치의 학습 속도 한계를 얻는다(Theorem 5).
• 예비 실험은 샤프 Sinkhorn 바센터가 규제된 Sinkhorn 바센터보다 훨씬 더 예리할 수 있음을 시사하며 간단한 시나리오에서 Wasserstein 바센터의 거동과 일치한다(Example 1 및 Fig. 2).