[논문 리뷰] Wasserstein Coresets for Lipschitz Costs.

Sebastian Claici, Justin Solomon|arXiv (Cornell University)|2018. 05. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 5

한 줄 요약

이 논문은 최적 운반 이론을 활용하여 리프시츠 비용 함수를 위한 워셔스타인 코어셋을 구성함으로써, 연속 확률 측도를 위한 일반화된 코어셋인 측도 코어셋을 도입한다. 이 방법은 SVM, k-means, k-median, 선형 회귀와 같은 머신러닝 작업에서 효율적이고 증명 가능한 정확도를 보장하는 근사치를 제공하며, 기존의 코어셋 구성 방식을 능가하거나 능가한다.

ABSTRACT

Sparsification is becoming more and more relevant with the proliferation of huge data sets. Coresets are a principled way to construct representative weighted subsets of a data set that have matching performance with the full data set for specific problems. However, coreset language neglects the nature of the underlying data distribution, which is often continuous. In this paper, we address this oversight by introducing a notion of measure coresets that generalizes coreset language to arbitrary probability measures. Our definition reveals a surprising connection to optimal transport theory which we leverage to design a coreset for problems with Lipschitz costs. We validate our construction on support vector machine (SVM) training, k-means clustering, k-median clustering, and linear regression and show that we are competitive with previous coreset constructions.

연구 동기 및 목표

• 기존의 이산 데이터 전용으로 설계된 코어셋의 한계를 해결하기 위해, 기반 데이터 분포의 연속성을 간과하는 문제를 해결한다.
• 임의의 확률 측도로 일반화되는 새로운 코어셋 개념인 측도 코어셋을 체계화한다.
• 측도 코어셋과 최적 운반 이론 간의 이론적 연결 고리를 확립하여, 증명 가능한 정확도를 보장하는 코어셋을 구성한다.
• 성능 보장을 유지하면서 데이터 크기를 줄이는 동시에 리프시츠 비용 함수에 적합한 실용적인 코어셋 구성 방법을 개발한다.

제안 방법

• 주어진 비용 함수 하에서 원본 데이터 측도를 근사하는 가중 확률 측도로 측도 코어셋을 정의한다.
• 최적 운반 이론을 활용하여 원본 측도와 코어셋 측도 간의 거리를 워셔스타인 거리로 정량화한다.
• 원본 측도로의 운반 비용을 최소화하는 워셔스타인 바리센터 유형 문제를 해결하여 코어셋을 구성한다.
• 워셔스타인 거리를 제어함으로써 임의의 리프시츠 비용 함수에 대해 (1+ε)-근사 보장을 확보한다.
• 최적 운반 계획에 기반한 샘플링 및 재가중 전략을 사용하여 크기가 작고 강력한 근사 보장을 갖춘 코어셋을 생성한다.
• 비용 특화 최적화를 통해 SVM, k-me안, k-중심, 선형 회귀와 같은 표준 머신러닝 문제에 코어셋 구성 방법을 적용한다.

실험 결과

연구 질문

• RQ1 코어셋은 이산 데이터를 초월해 연속 확률 측도로 원칙적으로 일반화될 수 있는가?
• RQ2 측도 코어셋과 최적 운반 이론 간의 이론적 연결 고리는 무엇인가?
• RQ3 워셔스타인 기반 코어셋 구성 방법은 리프시츠 비용 함수에 대해 증명 가능한 근사 보장을 달성할 수 있는가?
• RQ4 제안된 코어셋은 다양한 머신러닝 작업에서 기존의 코어셋 방법과 비교해 실용적으로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 측도 코어셋 프레임워크는 기존의 이산 코어셋을 연속 확률 측도로 일반화하여, 연속 데이터 분포의 체계적인 희소화를 가능하게 한다.
• 측도 코어셋과 최적 운반 이론 간의 이론적 연결 고리를 확립하였으며, 워셔스타인 거리가 코어셋 품질에 자연스러운 거리 척도로 기능함을 보였다.
• 모든 리프시츠 비용 함수에 대해 (1+ε)-근사 보장을 달성하는 코어셋 구성 방법을 통해 강력한 이론적 성능 한계를 보장한다.
• 실험적 평가 결과, SVM 학습, k-means, k-median, 선형 회귀 작업에서 기존의 코어셋 구성 방법과 경쟁 가능한 성능을 보였다.
• 데이터 크기를 크게 줄여도 높은 정확도를 유지함으로써, 대규모 학습 환경에서의 실용적 유용성을 입증하였다.