[논문 리뷰] Interpolating between Optimal Transport and MMD using Sinkhorn Divergences

Jean Feydy, Thibault Séjourné외 4명|arXiv (Cornell University)|2018. 10. 18.

Probabilistic and Robust Engineering Design참고 문헌 29인용 수 142

한 줄 요약

이 논문은 OT와 MMD 사이를 보간하는 Sinkhorn 발산을 도입하고, 양수성, 볼록성, 수렴 메트리제이션 속성을 증명하며, 대규모 분포 비교를 위한 GPU 가속 알고리즘을 제시한다.

ABSTRACT

Comparing probability distributions is a fundamental problem in data sciences. Simple norms and divergences such as the total variation and the relative entropy only compare densities in a point-wise manner and fail to capture the geometric nature of the problem. In sharp contrast, Maximum Mean Discrepancies (MMD) and Optimal Transport distances (OT) are two classes of distances between measures that take into account the geometry of the underlying space and metrize the convergence in law. This paper studies the Sinkhorn divergences, a family of geometric divergences that interpolates between MMD and OT. Relying on a new notion of geometric entropy, we provide theoretical guarantees for these divergences: positivity, convexity and metrization of the convergence in law. On the practical side, we detail a numerical scheme that enables the large scale application of these divergences for machine learning: on the GPU, gradients of the Sinkhorn loss can be computed for batches of a million samples.

연구 동기 및 목표

• 확률 측정치를 비교할 때 지오메트리-geometric loss가 Ground Geometry를 존중하도록 동기를 부여한다.
• Sinkhorn 발산을 OT와 MMD 사이의 tunable 보간으로 도입한다.
• 양성성, 볼록성, 수렴의 메트리지화 등 이론적 보장을 확립한다.
• 대규모, GPU 가속 계산을 가능하게 하는 Sinkhorn 발산의 수치적 스킴을 제공한다.

제안 방법

• 엔트로피 규제 OT_epsilon 및 Sinkhorn 발산 S_epsilon를 정의한다.
• 이원 형식과 약한-스-* 볼록 엔트로피를 통해 Sinkhorn negentropy F_epsilon를 도입한다.
• S_epsilon(알파,베타) = OT_epsilon(알파,베타) - 1/2 OT_epsilon(알파,알파) - 1/2 OT_epsilon(베타,베타)임을 입증한다.
• F_epsilon가 엄격하게 볼록하고 Hausdorff 발산 H_epsilon를 대칭적 Bregman 발산으로 도출한다.
• S_epsilon가 각 입력에 대해 볼록하고 매끄럽고 분포수렴(약한 수렴)을 메트리제이드한다(수렴 분포의 약한 수렴).
• S_epsilon와 그 그래디언트를 계산하기 위한 GPU 가능 알고리즘 파이프라인을 제시하고, 이중 포텐셜 및 자동 항에 대해 대칭 대각 업데이트를 제공한다.

실험 결과

연구 질문

• RQ1 Sinkhorn 발산이 확률 측정에 대해 수렴의 메트리제를 갖는 양의 정의적 손실을 제공하는가?
• RQ2 S_epsilon은 OT(epsilon->0)와 MMD 유사 동작(ε가 커질 때)의 사이를 어떻게 보간하는가?
• RQ3 GPU 가속을 이용해 대규모에서 S_epsilon과 그래디언트를 효율적으로 계산할 수 있는가?
• RQ4 S_epsilon 및 관련 이중 포텐셜의 이론적 속성(양성성, 볼록성, 매끄러움)은 무엇인가?
• RQ5 실무 학습 과제에서 OT_epsilon를 S_epsilon 보정항으로 디바이스(디바이)하는 방법은?

주요 결과

• S_epsilon은 대칭적이고 양의 정의이며 매끄럽고 각 입력에 대해 볼록하며 수렴의 메트리제를 수행하는 손실이다.
• S_epsilon은 OT(ε->0)와 제곱 커널 유사 노름(ε가 클 때) 사이를 보간한다.
• 저자들은 Sinkhorn negentropy F_epsilon의 양성성 및 엄격한 볼록성을 증명하고 분석을 위해 Hausdorff 발산을 도출한다.
• 배치 단위까지의 그래디언트 계산을 가능하게 하는 이중 포텐셜 기반의 계산 스킴을 제공한다.
• 구현은 Sinkhorn 반복, 대칭 대각 업데이트, 대규모 메모리 효율성을 위한 KeOps 라이브러리를 포함한 GPU 가속 파이프라인에 의존한다.
• 경험적 논의는 S_epsilon가 OT_epsilon에서 존재하는 엔트로피 바이어스를 완화하고 안정적이며 그래디언트 친화적인 최적화를 제공한다는 점을 시사한다.