[論文レビュー] CleanML: A Benchmark for Joint Data Cleaning and Machine Learning [Experiments and Analysis].

Peng Li, Susie Xi Rao+4 more|arXiv (Cornell University)|Apr 20, 2019

Data Quality and Management参考文献 16被引用数 26

ひとこと要約

CleanMLは、13の実世界データセットと5種類の誤りタイプ、7種類の機械学習モデルを用いて、データクリーニングと機械学習の共同的影響を調査する包括的なベンチマークを導入する。厳密な統計的制御、特にBenjamini-Yekutieli手順を用いることで、クリーニング効果の信頼性ある検出を実現し、データ品質がモデル性能に与える非自明なインサイトを明らかにする。

ABSTRACT

It is widely recognized that the data quality affects machine learning (ML) model performances, and data scientists spend considerable amount of time on data cleaning before model training. However, to date, there does not exist a rigorous study on how exactly does cleaning affect ML --- ML community usually focuses on the effects of specific types of noises of certain distributions (e.g., mislabels) on certain ML models, while database (DB) community has been mostly studying the problem of data cleaning alone without considering how data is consumed by downstream analytics. We propose the CleanML benchmark that systematically investigates the impact of data cleaning on downstream ML models. The CleanML benchmark currently includes 13 real-world datasets with real errors, five common error types, and seven different ML models. To ensure that our findings are statistically significant, CleanML carefully controls the randomness in ML experiments using statistical hypothesis testing, and also uses the Benjamini-Yekutieli (BY) procedure to control potential false discoveries due to many hypotheses in the benchmark. We obtain many interesting and non-trivial insights, and identify multiple open research directions. We also release the benchmark and hope to invite future studies on the important problems of joint data cleaning and ML.

研究の動機と目的

• データクリーニングが下流の機械学習モデル性能に与える影響を理解するというギャップに対処すること。
• データベース研究（クリーニングに注力）と機械学習研究（モデルの頑健性に注力）の間の溝を埋めるために、両者の共同的影響を調査すること。
• 再現可能で統計的に妥当なベンチマークを提供し、データクリーニングが機械学習モデルに与える影響を評価すること。
• データ品質とモデル性能の関係について、非自明で実証的根拠に基づくインサイトを特定すること。
• 今後の研究を促進するため、公開可能なベンチマークをリリースすること。

提案手法

• ベンチマークは、実世界の誤りを含む13の実世界データセットを統合し、実用的関連性を確保する。
• 5つの一般的なデータ誤りタイプ（例：誤標識、外れ値、重複）が、データセットに対して体系的に挿入されたり、同定されたりする。
• クリーニング済みデータと生データの両方で、7種類の多様な機械学習モデルを訓練し、性能差を測定する。
• クリーニングによる性能変化の有意性を厳密に評価するために、統計的仮説検定が用いられる。
• 複数の仮説検定において、誤発見率を制御するためにBenjamini-Yekutieli手順が適用される。
• 再現可能性と統計的妥当性を確保するため、制御されたランダムネスを用いた実験設計が採用される。

実験結果

リサーチクエスチョン

• RQ1 異なる種類のデータ誤りは、さまざまな機械学習モデルの性能にどのように影響するか？
• RQ2 どの程度、データクリーニングが下流の機械学習モデルの精度と頑健性を向上させるか？
• RQ3 特定の誤りタイプが、さまざまなモデルにおいて、顕著に大きな影響を及えることはあるか？
• RQ4 Benjamini-Yekutieli手順のような統計的制御は、クリーニング効果の検出の信頼性にどのように影響するか？
• RQ5 どの誤りタイプと機械学習モデルの組み合わせが、クリーニング後の性能劣化または向上を最も顕著に示すか？

主な発見

• データクリーニングは、複数のデータセットとモデルにおいてモデル性能を顕著に向上させるが、効果の大きさは誤りタイプやモデルアーキテクチャによって異なる。
• ラベルノイズや外れ値といった特定の誤りタイプは、他の誤りタイプよりもモデル精度に顕著な悪影響を及ぼす。
• Benjamini-Yekutieli手順は、複数の仮説検定の状況下でも誤発見を効果的に制御でき、ベンチマークの結果に対する信頼性を高める。
• 一部の機械学習モデルは特定の誤りタイプに対してより感受性が高く、実務においてモデル選択とデータ品質を統合的に検討する必要があることを示唆する。
• ベンチマークは、クリーニングと性能の間の非自明で文脈依存的な関係を明らかにし、一様な改善という仮定に疑問を呈する。
• CleanMLのリリースにより、データ品質と機械学習の相互作用に関する再現可能で大規模な研究が可能になる。