[논문 리뷰] Massively scalable Sinkhorn distances via the Nyström method

Jason M. Altschuler, Francis Bach외 2명|arXiv (Cornell University)|2018. 12. 12.

Probabilistic and Robust Engineering Design참고 문헌 53인용 수 17

한 줄 요약

이 논문은 커널 행렬을 근사하기 위해 Nyström 방법을 사용하고, Sinkhorn 스케일링을 결합하여 Sinkhorn 거리 계산을 위한 대규모 스케일링 가능한 알고리즘을 제안한다. 저랭크 근사와 안정성 분석을 활용함으로써, 시간 복잡도와 메모리 복잡도가 제곱 이하가 되어 기존 방법보다 수백 배 더 큰 데이터셋에서도 높은 정확도를 유지하면서 계산이 가능해진다.

ABSTRACT

The Sinkhorn "distance", a variant of the Wasserstein distance with entropic regularization, is an increasingly popular tool in machine learning and statistical inference. However, the time and memory requirements of standard algorithms for computing this distance grow quadratically with the size of the data, making them prohibitively expensive on massive data sets. In this work, we show that this challenge is surprisingly easy to circumvent: combining two simple techniques---the Nyström method and Sinkhorn scaling---provably yields an accurate approximation of the Sinkhorn distance with significantly lower time and memory requirements than other approaches. We prove our results via new, explicit analyses of the Nyström method and of the stability properties of Sinkhorn scaling. We validate our claims experimentally by showing that our approach easily computes Sinkhorn distances on data sets hundreds of times larger than can be handled by other techniques.

연구 동기 및 목표

• 대규모 머신러닝 응용 분야에서 표준 Sinkhorn 거리 계산의 제곱 시간 및 메모리 복잡도 문제를 해결하기 위해.
• 기존 방법이 비가능해지는 대규모 데이터셋에서도 Sinkhorn 거리의 효율적 계산을 가능하게 하기 위해.
• Nyström 방법과 Sinkhorn 스케일링을 사용한 근사 정확도에 대한 이론적 보장을 제공하기 위해.
• 기존 접근 방식보다 수십 배 이상 큰 데이터셋에서의 경험적 확장성을 입증하기 위해.

제안 방법

• 제곱 유클리드 비용에서 유도된 커널 행렬에 대해 Nyström 방법을 적용하여 저랭크 근사를 구성한다.
• 정확도를 향상시키기 위해 이중화 기법을 사용한 적응형 샘플링을 적용한다.
• 근사된 커널 행렬을 Sinkhorn 스케일링 알고리즘의 입력으로 사용하여 정규화된 최적 운반 거리를 계산한다.
• 이론적 분석을 통해 커널 근사에 대한 Sinkhorn 스케일링의 안정성 한계를 확립하여 오차 제어를 보장한다.
• 커널 근사 오차 한계와 Sinkhorn 투영 안정성의 조합을 통해 종합적인 정확도 보장을 도출한다.
• 최종 운반 계획이 마진 제약 조건을 충족하도록 하기 위해 라운딩 절차를 적용한다.

실험 결과

연구 질문

• RQ1 Nyström 방법을 Sinkhorn 스케일링과 효과적으로 조합하여 확장 가능한 최적 운반 계산을 달성할 수 있는가?
• RQ2 결과로 도출된 Sinkhorn 거리 근사에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ3 기존 방법과 비교해가지고 대규모 데이터셋에서 실질적으로 어떻게 확장되는가?
• RQ4 커널 근사 오차와 Sinkhorn 스케일링 안정성이 최종 거리 추정에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 표준 O(n^2) 복잡도와 대비해 O(n^{1.5}) 또는 그 이하로 저감된 제곱 이하의 시간 및 메모리 복잡도를 달성한다.
• 이 방법은 표준 방법이 약 10^4 수준에서 한계를 보이는 것과는 달리, n > 10^6인 데이터셋에서도 Sinkhorn 거리 계산이 가능하다.
• 이론적 분석을 통해 Nyström 근사와 Sinkhorn 스케일링의 조합이 유한 오차를 갖는다는 것을 증명하였으며, 이는 유효 차원과 샘플 크기에 명시적인 의존성을 보인다.
• 경험적 결과는 상대적으로 작은 Nyström 샘플 크기에서도 높은 정확도를 유지함을 보여주어 강건성을 입증한다.
• 커널 근사에 대해 안정적이며, Bregman 발산과 운반 다각체의 하우스도르프 거리 분석을 통해 오차 한계를 도출하였다.
• 특히 격자나 구조가 없는 설정에서 기존의 확장 가능한 방법들인 격자 기반 컨볼루션 또는 테일러 전개보다 뛰어난 성능을 보였다.