[논문 리뷰] Coresets for Relational Data and The Applications

Jiaxiang Chen, Qingyuan Yang외 2명|arXiv (Cornell University)|2022. 10. 09.

Advanced Clustering Algorithms Research인용 수 4

한 줄 요약

이 논문은 전체 설계 행렬을 물리적으로 생성하지 않고도 대규모 조인 최적화된 데이터베이스에서 효율적인 기계학습을 가능하게 하는, '가상 큐브를 갖춘 집계 트리' 기법을 사용한 관계형 데이터를 위한 새로운 코어셋 구성 방법을 제안한다. 이 방법은 클러스터링, 로지스틱 회귀, SVM에 대해 증명 가능한 (ε₁, ε₂)-코어셋 보장을 제공하며, 전체 런타임을 크게 줄이면서도 높은 최적화 품질을 유지한다.

ABSTRACT

A coreset is a small set that can approximately preserve the structure of the original input data set. Therefore we can run our algorithm on a coreset so as to reduce the total computational complexity. Conventional coreset techniques assume that the input data set is available to process explicitly. However, this assumption may not hold in real-world scenarios. In this paper, we consider the problem of coresets construction over relational data. Namely, the data is decoupled into several relational tables, and it could be very expensive to directly materialize the data matrix by joining the tables. We propose a novel approach called ``aggregation tree with pseudo-cube'' that can build a coreset from bottom to up. Moreover, our approach can neatly circumvent several troublesome issues of relational learning problems [Khamis et al., PODS 2019]. Under some mild assumptions, we show that our coreset approach can be applied for the machine learning tasks, such as clustering, logistic regression and SVM.

연구 동기 및 목표

• 전체 테이블 조인을 수행하는 데 계산 비용이 지나치게 높아지는 대규모 관계형 데이터에 대해 코어셋을 구성하는 문제에 대응하기 위해.
• 물리적으로 전체 설계 행렬을 명시적으로 생성하지 않고도 정규화된 분리된 관계형 데이터베이스에서 효율적인 기계학습을 가능하게 하기 위해.
• 클러스터링, 로지스틱 회귀, SVM 등의 ERM 문제에 대해 관계형 환경에서의 코어셋에 대한 이론적 보장을 제공하기 위해.
• 기존 코어셋 구성에 장애가 되는 관계형 집계 쿼리의 NP-난해성(예: FAQ-AI)을 극복하기 위해.
• 기존 데이터베이스 시스템과 효율적으로 통합 가능한 확장 가능한 하향식 코어셋 구성 파이프라인을 설계하기 위해.

제안 방법

• 하향식으로 관계형 테이블을 계층적으로 집계함으로써 코어셋을 구성하는 '가상 큐브를 갖춘 집계 트리' 프레임워크를 제안한다.
• 완전한 등가 조인을 물리적으로 생성하지 않고도 조인 경로를 통해 집합 함수를 압축하고 계산할 수 있도록 가상 큐브 데이터 구조를 사용한다.
• 손실 함수에 대한 약한 가정 하에 농도 경계를 활용한 가중치 샘플링을 적용하여 (ε₁, ε₂)-코어셋 품질을 보장한다.
• 손실 민감도 샘플링을 사용하여 각 레벨에서 자식 노드의 코어셋 정보를 집계하는 재귀적 코어셋 구성 전략을 적용한다.
• k-means, 로지스틱 회귀 등 기존 코어셋 알고리즘을 유지하면서도 조인 과정에서 손실 함수의 구조를 보존함으로써 통합한다.
• 정확도 보장과 샘플링 복잡도를 공식적으로 유도하기 위해 정리 1과 정리 2를 사용하여 고확률(1−λ) 정확도를 보장한다.

실험 결과

연구 질문

• RQ1 전체 설계 행렬을 물리적으로 생성하지 않고도 최적화 품질을 유지하면서 관계형 데이터에 대해 코어셋을 구성할 수 있는가?
• RQ2 완전한 등가 조인 없이도 정규화된 관계형 테이블에서 클러스터링 할당 등의 집합 함수를 효율적으로 계산할 수 있는가?
• RQ3 특히 NP-난해한 쿼리 평가 조건 하에서 관계형 데이터베이스의 코어셋에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 제안된 방법은 실제 관계형 데이터에 대해 확장 가능하며, 균일 샘플링 및 전체 행렬 기반 기준 대비 성능을 뛰어나게 할 수 있는가?
• RQ5 기존의 관계형 학습 방법과 비교했을 때, 가상 큐브를 갖춘 집계 트리는 런타임과 최적화 품질 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 RCore 방법은 균일 샘플링 및 Ori-Gon 기준 대비 뛰어난 최적화 품질을 확보하였으며, SVM의 경우 1000개의 코어셋 크기에서 Approx. 값이 0.02로 감소함으로써 Q1에서 뛰어난 성능을 보였다.
• SVM에서 RCore는 1000개의 코어셋 크기에서 종료 시점 런타임을 531초로 단축시켰으며, 원본 방법의 21,600초 이상을 상회하는 성능을 기록하였다 (Q1).
• Favorita의 k_c-means 클러스터링에서 Q4에서 RCore는 800개의 코어셋 크기에서 Approx. 값이 0.16을 기록하여 균일 샘플링(2.23) 및 Ori-Gon(1.12)을 모두 압도하였다.
• 이 방법은 효율적으로 확장 가능하다: RCore의 런타임은 코어셋 크기에 대해 비선형적으로 증가하지만, 원본 및 Ori-Gon은 전체 행렬 생성으로 인해 선형 또는 그 이상의 속도로 증가한다.
• 이론적 분석 결과, 고확률(1−λ) 하에서 코어셋이 (ε₁, ε₂)-코어셋 품질을 확보함을 입증하였으며, 샘플링 복잡도는 O(k²md)로 유도되었다.
• 가상 큐브를 활용하여 관계형 집계의 NP-난해성을 피함으로써, 조인 경로를 따라 효율적으로 집합 함수를 압축하고 계산할 수 있었다.