[논문 리뷰] Distances between Data Sets Based on Summary Statistics

Nikolaj Tatti|arXiv (Cornell University)|2019. 02. 04.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 20

한 줄 요약

이 논문은 요약 통계를 사용하여 데이터 세트를 비교하기 위한 통계적으로 타당하고 계산 효율적인 거리 측도인 CM 거리를 제안한다. Mahalanobis 거리 원리를 활용하여 특성 간 상관관계를 고려하며, 일반 데이터에 대해서는 세제곱 시간 복잡도로 계산되고, 이진 데이터에 대해서는 파리티 함수를 통해 선형 시간 평가가 가능하다. 실증적 검증을 통해 다양한 실제 데이터 세트에서 의미 있는 군집화를 보여주었다.

ABSTRACT

The concepts of similarity and distance are crucial in data mining. We consider the problem of defining the distance between two data sets by comparing summary statistics computed from the data sets. The initial definition of our distance is based on geometrical notions of certain sets of distributions. We show that this distance can be computed in cubic time and that it has several intuitive properties. We also show that this distance is the unique Mahalanobis distance satisfying certain assumptions. We also demonstrate that if we are dealing with binary data sets, then the distance can be represented naturally by certain parity functions, and that it can be evaluated in linear time. Our empirical tests with real world data show that the distance works well.

연구 동기 및 목표

• 데이터 세트 간의 유사성을 반영하면서도 계산적으로 다룰 수 있는 거리 측도를 정의하는 것.
• 특성 간 상관관계를 고려하여 독립적인 특성 가정에 기반한 단순화된 접근을 피하는 것.
• 특히 고차원 또는 대규모 데이터 세트에서 효율적으로 확장 가능한 방법을 개발하는 것.
• 실제 데이터 세트에서의 거리의 실증적 검증을 통해 구조적 패턴을 드러내는 능력을 입증하는 것.
• 특정 통계적 가정을 만족하는 유일한 Mahalanobis 거리임을 증명함으로써 이론적 고유성을 확립하는 것.

제안 방법

• 각 데이터 세트의 관측된 특성 평균과 일치하는 확률 분포 집합의 기하학적 해석을 통해 CM 거리를 정의한다.
• 동일한 요약 통계를 생성하는 제약 조건이 붙은 분포 집합 간의 최소 Mahalanobis 거리를 계산함으로써 유일한 해를 도출한다.
• 일반적인 데이터에 대해서는 N개의 특성 수를 기반으로 O(N³) 시간 복잡도로 계산되며, 이는 2차 최적화 문제를 해결하는 데 기반한다.
• 이진 데이터에 대해서는 파리티 함수를 사용하여 재구성함으로써 선형 시간 평가가 가능해진다.
• 특성 함수 S를 통해 데이터 포인트를 R^N으로 매핑하며, 요약 통계는 데이터 세트에 대한 경험적 평균으로 정의된다.
• 독립된 평균, 상관관계, 빈도 기반 항목집합 등 다양한 특성 유형을 모듈러 특성 집합 설계를 통해 지원한다.

실험 결과

연구 질문

• RQ1 요약 통계 간 상관관계를 적절히 반영하는 데이터 세트 간의 거리 측도를 정의할 수 있는가?
• RQ2 자연스러운 통계적 및 기하학적 제약 조건을 만족하는 유일한 Mahalanobis 거리가 존재하는가?
• RQ3 특히 대규모 또는 고차원 데이터에서 거리 측도를 효율적으로 계산할 수 있는가?
• RQ4 CM 거리는 실제 데이터 세트에서 구조적 패턴을 얼마나 잘 드러내는가?
• RQ5 독립된 평균 또는 빈도 기반 거리와 같은 간단한 기준보다 성능이 뛰어나게 되는가?

주요 결과

• CM 거리는 요구되는 통계적 및 기하학적 제약 조건을 만족하는 유일한 Mahalanobis 거리이며, 이는 이론적 타당성을 제공한다.
• 일반적인 데이터에 대해서는 O(N³) 시간 복잡도로 계산 가능하고, 이진 데이터에 대해서는 파리티 함수 표현을 통해 O(N) 시간 복잡도로 평가할 수 있다.
• 실증 결과로 CM 거리는 20Newsgroups, 성경, 비틀즈, TopGenres 등의 다양한 데이터 세트에서 의미 있는 군집화를 드러낸다.
• 20Newsgroups와 TopDecades 데이터 세트에서 (ind, cov, freq) 특성 집합을 사용한 CM 거리는 주제적 및 시기적 군집을 정확히 식별한다.
• 대부분의 데이터 세트에서 기초 거리보다 CM 거리가 성능이 뛰어나며, 특히 빈도 기반 항목집합을 특성으로 사용할 경우 더 높은 성능을 보이지만, 데이터 유형에 따라 성능이 다를 수 있다.
• 상관관계 특성(cov)과 독립된 평균 특성(ind)은 거의 동일한 거리를 생성했지만, 빈도 기반 항목집합(freq)은 더 정보가 풍부한 독특한 구조를 도출했다.