[논문 리뷰] Detecting Quality Problems in Research Data: A Model-Driven Approach

Arno Kesper, Viola Wenz외 1명|arXiv (Cornell University)|2020. 01. 01.

Data Quality and Management참고 문헌 21인용 수 1

한 줄 요약

이 논문은 특정 데이터베이스 기술과 형식에 맞게 구체화할 수 있는 일반적인 분석 패턴을 정의하여 연구 데이터의 품질 문제를 탐지하기 위한 모델 기반 접근법을 제시한다. 이 방법을 통해 도메인 전문가들은 추상적 패턴을 자신의 데이터에 맞게 조정할 수 있고, 데이터 분석가는 이를 바탕으로 중복, 일관성 오류, 구조적 결함과 같은 문제를 식별할 수 있다. 이는 대규모 문화유산 데이터베이스에서 20초 미만의 런타임으로 품질 문제의 85%를 커버하는 데 성공하였다.

ABSTRACT

As scientific progress highly depends on the quality of research data, there are strict requirements for data quality coming from the scientific community. A major challenge in data quality assurance is to localise quality problems that are inherent to data. Due to the dynamic digitalisation in specific scientific fields, especially the humanities, different database technologies and data formats may be used in rather short terms to gain experiences. We present a model-driven approach to analyse the quality of research data. It allows abstracting from the underlying database technology. Based on the observation that many quality problems show anti-patterns, a data engineer formulates analysis patterns that are generic concerning the database format and technology. A domain expert chooses a pattern that has been adapted to a specific database technology and concretises it for a domain-specific database format. The resulting concrete patterns are used by data analysts to locate quality problems in their databases. As proof of concept, we implemented tool support that realises this approach for XML databases. We evaluated our approach concerning expressiveness and performance in the domain of cultural heritage based on a qualitative study on quality problems occurring in cultural heritage data.

연구 동기 및 목표

• 디지털 인문학과 같이 동적으로 변화하는 도메인에서 연구 데이터 내재적 품질 문제를 탐지하는 데 도전하는 것.
• 기본 데이터베이스 기술과 형식에 종속되지 않는 방법을 개발하여 다양한 시스템 간 재사용을 가능하게 하는 것.
• 중복, 일관성 오류, 구조적 결함과 같은 품질 문제를 패턴 기반 분석을 통해 체계적으로 식별할 수 있도록 데이터 분석가를 지원하는 것.
• 실제 문화유산 데이터를 사용하여 표현력과 성능 측면에서 이 접근법을 평가하는 것.

제안 방법

• 이 방법은 데이터베이스 기술이나 형식에 종속되지 않는 일반적인 분석 패턴(역패턴)을 정의한다.
• 도메인 전문가들이 특정 데이터 형식(예: XML)과 데이터베이스 기술에 맞게 이러한 추상적 패턴을 구체화하여 도메인 특화 제약 조건에 맞게 조정한다.
• 구체화된 패턴은 이클립스 모델링 프레임워크를 사용하여 XML 데이터베이스에서 실행 가능한 XQuery로 변환된다.
• 이 방법은 정확한/근사한 중복, 중복 데이터, 의미 오류, 구조적 일관성 오류와 같은 문제의 패턴 기반 탐지를 지원한다.
• 실제 데이터셋에 패턴 적용과 실행을 자동화하기 위한 도구 지원을 구현한다.
• 이 접근법은 실세계의 문화유산 데이터베이스를 대상으로 정성적 연구와 성능 벤치마크를 통해 평가된다.

실험 결과

연구 질문

• RQ1 특정 데이터베이스 기술과 형식에 종속되지 않는 방식으로 연구 데이터의 품질 문제를 어떻게 모델링할 수 있는가?
• RQ2 일반적인 분석 패턴이 실제 문화유산 데이터베이스의 품질 문제를 어느 정도 탐지할 수 있는가?
• RQ3 대규모 연구 데이터에 적용했을 때 패턴 기반 탐지 방법의 효율성은 어떠한가?
• RQ4 모델 기반 접근법이 다양한 데이터 형식과 데이터베이스 시스템 간에 효과적으로 적응되고 재사용될 수 있는가?

주요 결과

• 이 접근법은 문화유산 데이터에서 식별된 품질 문제 유형의 85%를 커버하여 높은 표현력을 입증하였다.
• 43개 패턴 중 80%에 대해 대규모 데이터베이스에서 쿼리 실행 시간이 20초 이내로 완료되어 높은 성능 효율성을 보였다.
• 실제 XML 데이터베이스에서 정확한 및 근사한 중복, 중복 데이터, 구조적 일관성 오류와 같은 문제를 성공적으로 탐지하였다.
• 이클립스 모델링 프레임워크 기반 도구 지원 덕분에 패턴을 실행 가능한 XQuery로 원활하게 변환할 수 있었다.
• 이 방법은 다양한 데이터 형식에 적응 가능했으며, MIDAS 및 LIDO 데이터 형식 모두에 대해 패턴을 구체화하였다.
• 오타와 잘못된 의미적 값은 패턴의 표현력 한계로 인해 커버되지 못했으며, 이는 현재 연구 과제로 남아 있다.