[논문 리뷰] AI-Driven Frameworks for Enhancing Data Quality in Big Data Ecosystems: Error_Detection, Correction, and Metadata Integration

Widad Elouataoui|arXiv (Cornell University)|2024. 05. 06.

Big Data and Business Intelligence인용 수 6

한 줄 요약

이 박사 학위 논문은 빅데이터 생태계의 데이터 품질에 대해 메타데이터를 탐지하고 수정하며 통합하기 위한 AI 기반 프레임워크를 제안합니다. 여기에는 새로운 지표, 이상 탐지, 수정 모델링이 포함됩니다.

ABSTRACT

The widespread adoption of big data has ushered in a new era of data-driven decision-making, transforming numerous industries and sectors. However, the efficacy of these decisions hinges on the quality of the underlying data. Poor data quality can result in inaccurate analyses and deceptive conclusions. Managing the vast volume, velocity, and variety of data sources presents significant challenges, heightening the importance of addressing big data quality issues. While there has been increased attention from both academia and industry, current approaches often lack comprehensiveness and universality. They tend to focus on limited metrics, neglecting other dimensions of data quality. Moreover, existing methods are often context-specific, limiting their applicability across different domains. There is a clear need for intelligent, automated approaches leveraging artificial intelligence (AI) for advanced data quality corrections. To bridge these gaps, this Ph.D. thesis proposes a novel set of interconnected frameworks aimed at enhancing big data quality comprehensively. Firstly, we introduce new quality metrics and a weighted scoring system for precise data quality assessment. Secondly, we present a generic framework for detecting various quality anomalies using AI models. Thirdly, we propose an innovative framework for correcting detected anomalies through predictive modeling. Additionally, we address metadata quality enhancement within big data ecosystems. These frameworks are rigorously tested on diverse datasets, demonstrating their efficacy in improving big data quality. Finally, the thesis concludes with insights and suggestions for future research directions.

연구 동기 및 목표

• 다양한 지표와 보편성에 걸쳐 현재 빅데이터 품질 접근 방식의 격차를 해소한다.
• 정확한 평가를 위한 새로운 품질 지표와 가중 점수 체계를 도입한다.
• 품질 이상 탐지를 위한 일반적인 AI 기반 프레임워크를 제안한다.
• 감지된 이상을 수정하기 위한 예측 모델 기반 프레임워크를 개발한다.
• 빅데이터 생태계 내에서 메타데이터 품질 향상을 다룬다.

제안 방법

• 데이터 품질 평가를 위한 새로운 품질 지표와 가중 점수 모델을 개발한다.
• 다양한 품질 이슈를 위한 일반적인 AI 기반 이상 탐지 프레임워크를 설계한다.
• 감지된 이상을 수정하기 위한 예측 모델 기반 프레임워크를 개발한다.
• 빅데이터 파이프라인에 메타데이터 품질 향상 메커니즘을 통합한다.
• 다양한 데이터셋에서 프레임워크의 실행 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 일반적인 품질 지표 집합과 가중 점수 체계가 빅데이터 품질 평가를 어떻게 개선할 수 있는가?
• RQ2 AI 기반 이상 탐지가 다양한 데이터 소스에서 품질 문제를 신뢰성 있게 식별할 수 있는가?
• RQ3 감지된 품질 이상을 예측 모델로 수정하는 것은 얼마나 효과적인가?
• RQ4 메타데이터 품질을 어떻게 평가하고 빅데이터 생태계에 통합할 수 있는가?
• RQ5 이들 AI 기반 프레임워크를 적용하기 위한 실용적 지침과 한계는 무엇인가?

주요 결과

• 새로운 데이터 품질 지표 세트와 가중 점수 체계를 도입한다.
• 도메인에 관계없이 적용 가능한 일반적인 AI 기반 이상 탐지 프레임워크를 제안한다.
• 감지된 이상에 대한 예측 모델 기반 수정 프레임워크를 제안한다.
• 빅데이터 생태계 내에서 메타데이터 품질 향상을 다룬다.
• 다양한 데이터셋에서 프레임워크의 실행 가능성과 잠재적 효과를 입증한다.