[논문 리뷰] Statistical Learning to Operationalize a Domain Agnostic Data Quality Scoring

Sezal Chug, Priya Kaushal외 2명|arXiv (Cornell University)|2021. 08. 16.

Artificial Intelligence in Healthcare인용 수 4

한 줄 요약

이 논문은 통계적 학습을 활용하여 데이터셋 품질 평가를 자동화하는 도메인 무관 데이터 품질 스코링 프레임워크를 제안한다. 주어진 아홉 가지 데이터 품질 요소—예를 들어 출처, 누락 데이터, 일관성 등—을 주성분 분석(PCA)과 변이 테스팅을 통해 분석함으로써 표준화된 DQ 스코어, 레이블, 보고서를 생성하며, 검증 결과 1998년부터 2015년까지의 DHS 데이터셋에서 일관된 품질 향상이 확인되었다.

ABSTRACT

Data is expanding at an unimaginable rate, and with this development comes the responsibility of the quality of data. Data Quality refers to the relevance of the information present and helps in various operations like decision making and planning in a particular organization. Mostly data quality is measured on an ad-hoc basis, and hence none of the developed concepts provide any practical application. The current empirical study was undertaken to formulate a concrete automated data quality platform to assess the quality of incoming dataset and generate a quality label, score and comprehensive report. We utilize various datasets from healthdata.gov, opendata.nhs and Demographics and Health Surveys (DHS) Program to observe the variations in the quality score and formulate a label using Principal Component Analysis(PCA). The results of the current empirical study revealed a metric that encompasses nine quality ingredients, namely provenance, dataset characteristics, uniformity, metadata coupling, percentage of missing cells and duplicate rows, skewness of data, the ratio of inconsistencies of categorical columns, and correlation between these attributes. The study also provides an illustrative case study and validation of the metric following Mutation Testing approaches. This research study provides an automated platform which takes an incoming dataset and metadata to provide the DQ score, report and label. The results of this study would be useful to data scientists as the value of this quality label would instill confidence before deploying the data for his/her respective practical application.

연구 동기 및 목표

• 데이터 과학 워크플로우에서 표준화되고 자동화된 데이터 품질 평가의 부족을 해결하기 위해.
• 객관적이고 주관적인 방식으로 데이터셋 품질을 평가할 수 있는 실용적이고 확장 가능한 플랫폼을 개발하기 위해.
• 합성 및 실제 데이터셋에 대한 변이 테스팅을 통해 제안된 지표의 강건성을 검증하기 위해.
• 영양 성분 라벨과 유사한 투명하고 해석 가능한 데이터 품질 레이블을 제공함으로써 데이터 과학자들이 정보 기반 결정보을 내릴 수 있도록 지원하기 위해.
• 다양한 도메인에서의 데이터 품질을 정량화함으로써 AI/ML 시스템에 고품질 데이터를 구현할 수 있도록 지원하기 위해.

제안 방법

• 프레임워크는 출처, 데이터셋 특성, 통일성, 메타데이터 결합도, 누락 셀, 중복 행, 왜도, 범주형 불일치 비율, 속성 상관관계 등 아홉 가지 핵심 데이터 품질 요소를 식별한다.
• 주성분 분석(PCA)을 적용하여 차원 감소를 수행하고 아홉 가지 요소로부터 복합 데이터 품질 스코어를 유도한다.
• 사례 연구는 1998–99, 2005–06, 2015–16년도에 걸쳐 인도 DHS 데이터셋을 대상으로 수행되며, 재코딩 매뉴얼 섹션별로 분할된다.
• 변이 테스팅을 사용하여 지표를 검증한다: 제어된 노이즈(삽입 또는 제거)를 가진 합성 데이터셋을 생성하여 DQ 스코어의 민감도를 테스트한다.
• 시스템은 원시 데이터셋과 메타데이터를 수신하여 자동으로 스코어를 계산하고, 품질 레이블(예: '높음', '중간', '낮음')을 생성하며 종합적인 품질 보고서를 작성한다.
• 미래 개선 사항으로는 의미 유사도 기반 NLP 기반 메타데이터 매칭 통합과 PDF 코드북 또는 웹 소스에서 직접 파싱을 통해 CSV/SPSS 이외의 형식도 지원하는 것 포함.

실험 결과

연구 질문

• RQ1 통계적으로 타당한 방식으로 다수의 품질 차원을 포괄할 수 있는 통합된 도메인 무관 데이터 품질 지표를 구성할 수 있는가?
• RQ2 DHS 인도 데이터셋과 같은 종단적 데이터셋에서 알려진 데이터 품질 추세와 제안된 데이터 품질 스코어는 어떻게 상관관계가 있는가?
• RQ3 제어된 데이터 편향(예: 노이즈 삽입/제거)에 대해 지표가 예측 가능한 방식으로 반응하는가?
• RQ4 이 프레임워크는 헬스케어 외의 다양한 데이터셋으로 일반화될 수 있으며, 비표준 형식으로도 확장 가능한가?
• RQ5 다양한 데이터 소스 간의 메타데이터 결합도와 출처는 어떻게 자동화하고 표준화할 수 있는가?

주요 결과

• 1998–99년도에서 2015–16년도 사이에 DHS 인도 데이터셋의 DQ 스코어는 85%에서 93%로 일관된 경향을 보이며 품질 향상이 확인되었다.
• 모든 세 번의 DHS 인도 설문조사 연도 동안 출처와 통일성 스코어는 100%를 유지하여 강력한 데이터 유산과 구조적 일관성을 나타냈다.
• 메타데이터 결합도 스코어는 85–95% 사이에서 변동하며 해마다 안정적인 향상 추세를 보이며 문서화 품질 향상을 반영했다.
• 지표는 데이터 편향에 민감한 것으로 입증되었다: 노이즈를 추가하면 DQ 스코어가 감소하고, 노이즈를 제거하면 증가하여 반응성 확인.
• 사례 연구는 이 프레임워크가 데이터셋 섹션 간의 품질 추세와 변동성을 신뢰성 있게 포착함을 확인하였으며, 실세계 데이터 평가에의 활용 가능성을 뒷받침했다.
• 변이 테스팅은 지표가 데이터 품질 변화를 정확하게 반영함을 실증적으로 검증하여 실용적 구현에 있어 신뢰성을 확인했다.