[논문 리뷰] A Survey on Sampling and Profiling over Big Data (Technical Report)

Zhicheng Liu, Aoqian Zhang|arXiv (Cornell University)|2020. 05. 08.

Data Quality and Management참고 문헌 120인용 수 5

한 줄 요약

이 종합 검토는 대용량 데이터 환경에서 데이터 프로파일링을 가속화하기 위한 샘플링 기법을 조사하며, 대표성 있는 샘플링이 전체 데이터 분석과 비교해 유사한 결과를 제공하면서도 계산 비용을 크게 감소시킴을 보여준다. 이 연구는 관계형, 시계열, 그래프 데이터 프로파일링 작업 전반에 걸쳐 샘플링을 평가하여, 샘플에서 도출된 근사 결과가 효율적이고 정확하다는 것을 입증하며, 샘플링이 확장 가능한 대용량 데이터 처리를 위한 핵심 요소임을 입증한다.

ABSTRACT

Due to the development of internet technology and computer science, data is exploding at an exponential rate. Big data brings us new opportunities and challenges. On the one hand, we can analyze and mine big data to discover hidden information and get more potential value. On the other hand, the 5V characteristic of big data, especially Volume which means large amount of data, brings challenges to storage and processing. For some traditional data mining algorithms, machine learning algorithms and data profiling tasks, it is very difficult to handle such a large amount of data. The large amount of data is highly demanding hardware resources and time consuming. Sampling methods can effectively reduce the amount of data and help speed up data processing. Hence, sampling technology has been widely studied and used in big data context, e.g., methods for determining sample size, combining sampling with big data processing frameworks. Data profiling is the activity that finds metadata of data set and has many use cases, e.g., performing data profiling tasks on relational data, graph data, and time series data for anomaly detection and data repair. However, data profiling is computationally expensive, especially for large data sets. Therefore, this paper focuses on researching sampling and profiling in big data context and investigates the application of sampling in different categories of data profiling tasks. From the experimental results of these studies, the results got from the sampled data are close to or even exceed the results of the full amount of data. Therefore, sampling technology plays an important role in the era of big data, and we also have reason to believe that sampling technology will become an indispensable step in big data processing in the future.

연구 동기 및 목표

• 대용량 데이터의 5V 특성, 특히 볼륨(Volume)으로 인해 데이터 프로파일링이 계산적으로 비현실적이 되는 문제를 해결한다.
• 데이터 프로파일링 작업에서 정확성을 유지하면서 데이터 크기를 줄일 수 있는 샘플링의 잠재력을 조사한다.
• 특히 계산 비용이 높은 프로파일링 작업에 적용 가능한 다양한 데이터 유형(관계형, 시계열, 그래프 데이터 포함)에 샘플링을 적용하는 방법을 검토한다.
• 기존 연구에서의 격차를 특정화하며, 특히 시계열 및 그래프 데이터에 대한 샘플링 기반 프로파일링의 부족함을 지적하고 향후 연구 방향을 제안한다.
• 샘플링을 대용량 데이터 파ip라인의 핵심 사전 처리 단계로 정립하여 결과 품질을 희생시키지 않은 채 효율성을 향상시킨다.

제안 방법

• 대용량 데이터에 적합한 기존 샘플링 방법을 조사하고 분류하며, 블록 수준의 샘플링 및 무작위 보행 기반 기법을 포함한다.
• Hadoop, Spark, Storm, Flink와 같은 대용량 데이터 프레임워크와의 샘플링 통합을 분석하여 확장 가능한 처리를 가능하게 한다.
• 단일 컬럼 프로파일링, 다중 컬럼 프로파일링, 종속성 탐지와 같은 다양한 데이터 프로파일링 작업에 적합한 샘플링 전략을 평가한다.
• 시속 분포 및 분위수의 근사 계산에 초점을 맞춰 시계열 데이터에서 샘플링의 성능을 평가한다.
• 무작위 보행 및 '포레스트 파이어'(forest fire) 방법과 같은 그래프 샘플링 기법을 조사하여 프로파일링 작업에서 구조적 특성을 유지할 수 있도록 한다.
• 특히 쌍별 비교 오버헤드를 줄이는 데 중점을 두고 이질적 데이터에 대한 샘플링 전략을 제안하며, 종속성 탐지(예: 매칭 종속성, 기능적 종속성)에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 샘플링은 대용량 데이터에서 데이터 프로파일링의 계산 비용을 어떻게 줄일 수 있으며, 결과 정확도에 크게 영향을 주지 않으면서도 효율적으로 수행될 수 있는가?
• RQ2 관계형, 시계열, 그래프 데이터의 맥락에서 데이터 프로파일링에 가장 효과적인 샘플링 기법은 무엇인가?
• RQ3 샘플링 편향은 프로파일링 결과의 신뢰성에 어떤 영향을 미치며, 이를 어떻게 최소화할 수 있는가?
• RQ4 샘플링은 대용량 데이터 처리 프레임워크에 어떻게 통합되어 확장성을 향상시킬 수 있는가?
• RQ5 이질적 데이터에서 복잡한 종속성을 포함한 프로파일링 작업에 샘플링를 적용할 때의 주요 과제는 무엇인가?

주요 결과

• 샘플링 기법은 전체 데이터에서 얻은 결과와 유사하거나 이를 초월하는 결과를 도출하며, 특히 속도와 효율성 측면에서 뛰어나다.
• 시계열 데이터의 경우, 속도의 확률 분포와 같은 근사 결과만으로도 이상 탐지에 충분하며, 샘플링을 통해 효율적으로 계산할 수 있다.
• 무작위 보행 및 '포레스트 파이어' 방법을 활용한 그래프 샘플링은 원본 그래프 크기의 약 15%만으로도 구조적 특성을 효과적으로 유지할 수 있다.
• 매칭 종속성과 같은 종속성 탐지에서의 쌍별 비교는 계산 비용이 매우 높으며, 높은 비율로 샘플링할 경우 관련 쌍을 포착할 가능성이 높아진다.
• Spark 및 Hadoop와 같은 대용량 데이터 프레임워크와의 샘플링 통합은 대규모 데이터셋의 확장 가능하고 효율적인 프로파일링을 가능하게 한다.
• 다른 가능성에도 불구하고, 그래프 및 시계열 데이터에 대한 샘플링 기반 프로파일링에 관한 연구는 아직 제한적이며, 향후 연구에 있어 중요한 기회가 있음을 시사한다.