[論文レビュー] Impacts of Dirty Data: and Experimental Evaluation

Zhixin Qi, Hongzhi Wang+2 more|arXiv (Cornell University)|Mar 16, 2018

Machine Learning and Data Classification参考文献 44被引用数 11

ひとこと要約

本論文は、欠損、不整合、矛盾のあるデータが分類およびクラスタリングアルゴリズムに与える影響を実験的に評価し、耐性を定量化するための新規指標「感度（sensibility）」および「維持点（keeping point）」を導入している。誤り率とタスク要件に基づき、データ駆動型のアルゴリズム選定および的を絞ったデータクリーニングのガイドラインを提供することで、不必要なクリーニングコストを削減しながらも、精度を維持している。

ABSTRACT

Data quality issues have attracted widespread attention due to the negative impacts of dirty data on data mining and machine learning results. The relationship between data quality and the accuracy of results could be applied on the selection of the appropriate algorithm with the consideration of data quality and the determination of the data share to clean. However, rare research has focused on exploring such relationship. Motivated by this, this paper conducts an experimental comparison for the effects of missing, inconsistent and conflicting data on classification and clustering algorithms. Based on the experimental findings, we provide guidelines for algorithm selection and data cleaning.

研究の動機と目的

• 欠損、不整合、矛盾のあるデータが分類およびクラスタリングアルゴリズムに与える具体的な影響を調査すること。
• 汚れたデータ状態下でのアルゴリズム性能の変動および耐性を捉える新しい評価指標を開発すること。
• データ品質とタスク要件に基づき、適切なアルゴリズムの選定および的を絞ったデータクリーニングを可能にする、実行可能なガイドラインを提供すること。
• 許容可能な性能を維持できる最小限のデータ品質の閾値（維持点）を特定することで、データクリーニングコストを削減すること。

提案手法

• 著者らは、実験的評価の対象として12種類の古典的分類およびクラスタリングアルゴリズムを選定した。
• さまざまなデータサイズと誤り率で制御された欠損、不整合、矛盾のあるデータを含む合成データセットを生成した。
• 2つの新規指標を導入した：感度（データ品質問題への感受性を測定）および維持点（許容可能な性能を維持できる最大誤り率）。
• 標準指標（精度、再現率、F-measure）に加え、新たな指標を用いて安定性および耐性を評価した。
• 複数のデータセットおよび誤りタイプを用いた実験により、アルゴリズムの挙動の傾向を分析した。
• 実証的結果からガイドラインを導出し、誤りタイプおよびデータ品質レベルに応じたアルゴリズム選択とクリーニング閾値を結びつけた。

実験結果

リサーチクエスチョン

• RQ1 欠損、不整合、矛盾といった異なるタイプの汚れたデータは、分類およびクラスタリングアルゴリズムの性能にどのように影響するか？
• RQ2 データ品質問題に対する機械学習アルゴリズムの感受性および耐性を効果的に定量化する指標は何か？
• RQ3 特定のタイプの汚れたデータに対して最も耐性があるアルゴリズムは何か？また、データサイズはその耐性にどのように影響するか？
• RQ4 許容可能な性能を維持できる最大誤り率（維持点）は、各アルゴリズムでどの程度か？
• RQ5 ユーザーは、最も重要なデータ品質問題に焦点を当てることで、どのようにデータクリーニングを最適化できるか？

主な発見

• 欠損データに対して、ロジスティック回帰が最も耐性がある分類アルゴリズムであり、最高の維持点と最小の感度を示している。
• 矛盾データに対しては、LVQが最も耐性があるクラスタリングアルゴリズムであり、矛盾データに対する最高の維持点を示している。一方、CUREは矛盾値への感受性が高いため、最も耐性がない。
• 大規模データセットにおいて、DBSCANが最も安定したクラスタリングアルゴリズムであり、データサイズが増大しても一貫した性能を維持している。
• 多くのアルゴリズムのF-measureは、データサイズが増大すると不安定になるが、DBSCANを除き、高容量および汚れたデータ環境下でも耐性を示す。
• クリーンなデータでF-measureが80％以上のアルゴリズムは、汚れたデータ下で著しい性能の変動を示し、特に誤り率が上昇するにつれて顕著になる。
• 維持点指標は、アルゴリズム性能が許容できない水準に下がる閾値誤り率を効果的に特定でき、的を絞ったデータクリーニングを可能にする。