[논문 리뷰] A Pseudo-Metric between Probability Distributions based on Depth-Trimmed Regions

Guillaume Staerman, Pavlo Mozharovskyi외 3명|arXiv (Cornell University)|2021. 03. 23.

Advanced Statistical Methods and Models인용 수 5

한 줄 요약

이 논문은 데이터 깊이를 활용하여 다변량 분위수를 정의하는 깊이 자르기 영역을 통해 $\mathbb{R}^d$에서 연속 확률 분포를 비교하기 위한 새로운 의사거리 함수를 제안한다. 이 거리 함수는 두 분포에서 유도된 깊이 기반 영역 간의 평균 하우스도르프 거리를 계산하며, 강건성, 아핀 변환에 대한 불변성, 선형 시간 근사화를 제공하여 텍스트 요약 평가 과업에서 기존의 MMD, 워셔스타인, BertScore와 비교해 뛰어난 성능을 보인다.

ABSTRACT

The design of a metric between probability distributions is a longstanding problem motivated by numerous applications in Machine Learning. Focusing on continuous probability distributions on the Euclidean space $\\mathbb{R}^d$, we introduce a novel pseudo-metric between probability distributions by leveraging the extension of univariate quantiles to multivariate spaces. Data depth is a nonparametric statistical tool that measures the centrality of any element $x\\in\\mathbb{R}^d$ with respect to (w.r.t.) a probability distribution or a data set. It is a natural median-oriented extension of the cumulative distribution function (cdf) to the multivariate case. Thus, its upper-level sets -- the depth-trimmed regions -- give rise to a definition of multivariate quantiles. The new pseudo-metric relies on the average of the Hausdorff distance between the depth-based quantile regions w.r.t. each distribution. Its good behavior w.r.t. major transformation groups, as well as its ability to factor out translations, are depicted. Robustness, an appealing feature of this pseudo-metric, is studied through the finite sample breakdown point. Moreover, we propose an efficient approximation method with linear time complexity w.r.t. the size of the data set and its dimension. The quality of this approximation as well as the performance of the proposed approach are illustrated in numerical experiments.

연구 동기 및 목표

• 비중첩된 지지역간의 확률 분포 간에 강건하고 기하학적으로 의미 있는 거리 함수를 정의하는 문제를 해결하기 위해.
• 데이터 깊이를 다변량 분위수의 일반화로 활용하여 분포 비교를 위한 깊이 자르기 영역을 구성하기 위해.
• 이 거리 함수가 아핀 변환에 대해 불변이며, 특히 고차원 환경에서 오염에 강건하도록 보장하기 위해.
• 기계 학습 응용 분야에서 실용적으로 구현 가능한 효율적인 선형 시간 근사화 방법을 개발하기 위해.
• 자동 자연어 생성 평가, 특히 텍스트 요약 과업에서 거리 함수의 성능을 평가하기 위해.

제안 방법

• 데이터 깊이의 상위 수준 집합(깊이 자르기 영역)을 사용하여 다변량 분위수를 정의하며, 이는 분포에 대해 중심성의 순서로 점들을 정렬한다.
• 두 확률 분포에서 유도된 깊이 자르기 영역 간의 평균 하우스도르프 거리로 의사거리 함수를 구성한다.
• 각 분포에 대해 깊이 함수의 가족(예: 단체형, 오자, 존로이드 깊이)을 사용하여 깊이 자르기 영역을 정의한다.
• 유한한 분위수 수준 그리드에서 깊이 값을 샘플링하고 거리를 계산하는 방식으로 선형 시간 근사화를 제안한다.
• 거리 함수가 아핀 변환에 대해 불변이며, 위치 이동 효과를 제거함으로써 강건성을 향상시킨다.
• 유한 표본 붕괴점으로 분석된 이론적 성질들 중 강건성 등을 검토한다.

실험 결과

연구 질문

• RQ1 데이터 깊이를 사용하여 의미 있는 다변량 분위수의 일반화를 정의할 수 있는가? 이는 분포 비교에 기여하는가?
• RQ2 제안된 의사거리 함수가 아핀 변환과 이동에 대해 바람직한 불변성 성질을 보이는가?
• RQ3 유한 표본 붕괴점으로 측정했을 때, 데이터 오염에 대해 얼마나 강건한가?
• RQ4 이론적 성질을 유지하면서도 효율적인 선형 시간 근사화를 구성할 수 있는가?
• RQ5 기존 거리 함수들(MMD, 워셔스타인, BertScore)과 비교해 텍스트 생성 품질 평가에서 어떻게 성능을 내는가?

주요 결과

• 제안된 의사거리 함수 $DR_{p,\varepsilon}$는 WebNLG 2020 벤치마크에서 인간 평가와 가장 높은 상관관계를 보이며, 추출형 요약 시스템에서 MoverScore와 BertScore를 모두 앞선다.
• 요약 과업에서 $DR_{p,\varepsilon}$는 추출형 시스템에 대해 인간 평가와 스피어만 상관계수 91.5를 기록하여 워셔스타인(74.2)과 MMD(75.6)를 모두 초월한다.
• 이 거리 함수는 강건성이 뛰어나며, 유한 표본 붕괴점으로 측정된 결과 오염에 대한 저항성을 확인한다.
• 선형 시간 근사화 방법은 계산 비용을 크게 줄이며 동시에 높은 정확도를 유지하여 대규모 데이터셋에의 확장성을 보장한다.
• 이 거리 함수는 아핀 변환에 대해 불변이며, 이동 효과를 효과적으로 제거함으로써 실제 응용에서의 안정성을 향상시킨다.
• 실험 결과, $DR_{p,\varepsilon}$는 추출형 및 개성형 요약 평가에서 Sliced-Wasserstein과 MMD를 모두 뛰어넘으며, 특히 켄달의 $\tau$와 피어슨의 $r$에서 뛰어난 성능을 보였다.