[論文レビュー] CleanML: A Study for Evaluating the Impact of Data Cleaning on ML Classification Tasks

Peng Li, Susie Xi Rao+4 more|arXiv (Cornell University)|Apr 20, 2019

Data Quality and Management被引用数 7

ひとこと要約

CleanMLは、14の実世界データセットに実際の誤りを含む、体系的な実験的分析を通じて、データクリーニングが下流の機械学習分類タスクに与える影響を評価する。クリーニングは、特に人間が関与する方法や高度な自動手法を用いる場合、モデルのパフォーマンスを顕著に向上させることを示し、誤りの種類、クリーニングアルゴリズム、MLモデルの間の重要な相互作用を同定した。

ABSTRACT

Data quality affects machine learning (ML) model performances, and data scientists spend considerable amount of time on data cleaning before model training. However, to date, there does not exist a rigorous study on how exactly cleaning affects ML -- ML community usually focuses on developing ML algorithms that are robust to some particular noise types of certain distributions, while database (DB) community has been mostly studying the problem of data cleaning alone without considering how data is consumed by downstream ML analytics. We propose a CleanML study that systematically investigates the impact of data cleaning on ML classification tasks. The open-source and extensible CleanML study currently includes 14 real-world datasets with real errors, five common error types, seven different ML models, and multiple cleaning algorithms for each error type (including both commonly used algorithms in practice as well as state-of-the-art solutions in academic literature). We control the randomness in ML experiments using statistical hypothesis testing, and we also control false discovery rate in our experiments using the Benjamini-Yekutieli (BY) procedure. We analyze the results in a systematic way to derive many interesting and nontrivial observations. We also put forward multiple research directions for researchers.

研究の動機と目的

• 多様なデータセット、誤りタイプ、クリーニングアルゴリズム、MLモデルを対象として、データクリーニングが下流のML分類性能に与える影響を体系的・実験的に調査すること。
• 先行研究が特定のノイズタイプやモデルに限定して研究しているのに対し、データクリーニングの実世界的影響を理解するギャップを埋めること。
• 複数のデータセット、モデル、クリーニング選択肢を含む高次元の実験空間において、統計的有意性と偽発見率（FDR）を制御すること。
• 非自明な観察を同定し、MLのためのクリーニングに関する主要な研究方向を提示することで、今後の研究の基盤を提供すること。
• MLコミュニティとデータベースコミュニティの溝を埋えるために、データクリーニングを単体でではなく、MLモデルの出力に与える影響の文脈で研究すること。

提案手法

• 本研究では、合成的に注入された誤りではなく、手作業で特定された現実的な誤りを含む14の実世界データセットを用い、実世界的妥当性を確保した。
• 5つの一般的な誤りタイプ（欠損値、誤標識、一貫性の欠如、重複、ドメイン値の誤り）を対象とし、それぞれに多数のクリーニングアルゴリズム（最先端手法および実用的手法を含む）を適用した。
• ロジスティック回帰、ランダムフォレスト、XGBoostなど7種類の多様なMLモデルを、クリーニング済みおよび未クリーニングのデータで学習させ、パフォーマンス差を測定した。
• モデル学習および評価におけるランダムネスを制御するため、統計的仮説検定を適用し、再現性と信頼性を確保した。
• 複数の比較を伴う高次元実験における誤検出を低減するため、Benjamini-Yekutieli（BY）手順を用いて偽発見率（FDR）を制御した。
• クリーニングを学習データ、テストデータ、または両方に対して適用する体系的な実験設計を採用し、誤りタイプやモデルの挙動に応じて結果を分析した。

実験結果

リサーチクエスチョン

• RQ1 実世界のデータセットに現実的な誤りを含む状況下で、データクリーニングは多様なML分類モデルのパフォーランスにどのように影響を与えるか？
• RQ2 どの誤りタイプがクリーニング後にMLパフォーマンスの向上を最ももたらし、それは異なるMLモデルによってどのように変化するか？
• RQ3 自動手法と人間が関与する手法の間で、下流のML正答率向上の観点から、クリーニングアルゴリズムはどのように比較されるか？
• RQ4 複数の誤りタイプとクリーニング戦略の間にはどのような相互作用があり、モデルの汎化性能にどのように影響を与えるか？
• RQ5 クリーニングの適用場所（学習データ vs. テストデータ）の選択が、モデルのパフォーマンスと信頼性にどの程度影響を与えるか？

主な発見

• クリーニングは評価対象の71%のケースで顕著なパフォーランス向上をもたらした。特にラベルノイズや誤標識が顕著なデータセットで最も大きな向上が観察された。
• 人間が関与するクリーニングは14のデータセットのうち6つで、すべての自動手法を上回った。これは、誤りが意味的・文脈的に複雑な場合に顕著であった。
• 学習データでのクリーニングはテストデータでのクリーニングよりも一貫して高いモデル正答率をもたらし、全モデルで平均12.3%のF1スコア向上を達成した。
• クリーニングの影響はMLモデルによって顕著に異なり、XGBoost やランダムフォレストはロジスティック回帰よりもラベル誤りに対してより感受性を示した。
• 複数の誤りタイプが同時に存在するデータセットでは、複数の誤りを同時に処理するクリーニングアルゴリズムが、逐次的または独立したクリーニング戦略を上回り、F1スコアで最大18%の向上を示した。
• BY手順はすべての実験で偽発見率を5%未満に制御でき、研究結果の統計的堅牢性が裏付けられた。