[論文レビュー] Statistical Learning to Operationalize a Domain Agnostic Data Quality Scoring

Sezal Chug, Priya Kaushal+2 more|arXiv (Cornell University)|Aug 16, 2021

Artificial Intelligence in Healthcare被引用数 4

ひとこと要約

本論文は、統計的学習を用いてデータセット品質評価を自動化するドメインに依存しないデータ品質スコアフレームワークを提案する。主成分分析（PCA）および変異テストを用いて、出典、欠損データ、一貫性など9つのデータ品質要因を分析し、標準化されたDQスコア、ラベル、レポートを生成する。検証の結果、1998年から2015年までのDHSデータセットにおいて一貫した品質向上が確認された。

ABSTRACT

Data is expanding at an unimaginable rate, and with this development comes the responsibility of the quality of data. Data Quality refers to the relevance of the information present and helps in various operations like decision making and planning in a particular organization. Mostly data quality is measured on an ad-hoc basis, and hence none of the developed concepts provide any practical application. The current empirical study was undertaken to formulate a concrete automated data quality platform to assess the quality of incoming dataset and generate a quality label, score and comprehensive report. We utilize various datasets from healthdata.gov, opendata.nhs and Demographics and Health Surveys (DHS) Program to observe the variations in the quality score and formulate a label using Principal Component Analysis(PCA). The results of the current empirical study revealed a metric that encompasses nine quality ingredients, namely provenance, dataset characteristics, uniformity, metadata coupling, percentage of missing cells and duplicate rows, skewness of data, the ratio of inconsistencies of categorical columns, and correlation between these attributes. The study also provides an illustrative case study and validation of the metric following Mutation Testing approaches. This research study provides an automated platform which takes an incoming dataset and metadata to provide the DQ score, report and label. The results of this study would be useful to data scientists as the value of this quality label would instill confidence before deploying the data for his/her respective practical application.

研究の動機と目的

• データサイエンスワークフローにおける標準的で自動化されたデータ品質評価の欠如に対処すること。
• 客観的かつ主観的にデータセット品質を評価できる実用的でスケーラブルなプラットフォームの開発。
• 合成データセットおよび実世界のデータセットを用いた変異テストにより、提案された指標の頑健性を検証すること。
• 栄養成分表示に類似した透明性があり解釈可能なデータ品質ラベルを提供することで、データサイエンティストが情報に基づいた意思決定をできるようにすること。
• 多様な分野にまたがるデータ品質を定量化することで、AI/MLシステムへの高品質データの導入を支援すること。

提案手法

• フレームワークは、出典、データセットの特徴、一貫性、メタデータ結合、欠損セル、重複行、歪度、カテゴリカル不一致比、属性相関の9つの主要なデータ品質要因を特定する。
• 主成分分析（PCA）を用いて次元削減を行い、9つの要因から合成されたデータ品質スコアを導出する。
• 事例研究として、1998–99年、2005–06年、2015–16年のインドDHSデータセットを、再コードマニュアルのセクションごとに分類して評価する。
• 変異テストを用いて指標を検証する：制御されたノイズ（挿入または削除）を含む合成データセットを生成し、DQスコアの感度をテストする。
• システムは生のデータセットとメタデータを入力として受け取り、自動的にスコアを計算し、品質ラベル（例：「高」、「中」、「低」）を生成し、包括的な品質レポートを出力する。
• 今後の改善策として、意味的類似度を用いたNLPベースのメタデータ照合の統合、PDFコードブックやWebリソースからの直接パースによるCSV/SPSS形式以外のフォーマットのサポートを計画している。

実験結果

リサーチクエスチョン

• RQ1 統計的に妥当な方法で複数の品質次元を捉えることのできる、統一的でドメインに依存しないデータ品質指標を構築できるか？
• RQ2 提案されたデータ品質スコアは、インドDHSのような縦断的データセットにおける既知のデータ品質トレンドとどの程度相関しているか？
• RQ3 ノイズの挿入／削除といった制御されたデータ摂動に対して、指標はどの程度予測可能な応答を示すか？
• RQ4 本フレームワークは医療分野を越えて多様なデータセットに一般化可能か？また、非表形式のフォーマットに対応するにはどのように拡張できるか？
• RQ5 異種のデータソース間でメタデータ結合と出典を自動化・標準化することは可能か？

主な発見

• DHSインドデータセットのDQスコアは、1998–99年から2015–16年にかけて85％から93％へ一貫した勾配で上昇し、時間経過による品質向上を示した。
• 出典および一貫性スコアは、3回のDHSインド調査の全期間を通じて100％を維持しており、強固なデータラインエージェンシーと構造的整合性を示している。
• メタデータ結合スコアは85–95％の間で変動し、年ごとに着実に改善しており、文書化品質の向上を反映している。
• 指標はデータ摂動に対して感受性を示した：ノイズを追加するとDQスコアが低下し、ノイズを削除すると上昇した。これにより、指標の応答性が検証された。
• 事例研究により、フレームワークがデータセットのセクションごとの品質トレンドとばらつきを信頼性高く捉えられることを確認した。実世界のデータ評価に応用可能である。
• 変異テストにより、指標がデータ品質の変化を正確に反映しており、実用的導入に耐える信頼性があることが実証された。