[論文レビュー] The Effects of Data Quality on Machine Learning Performance on Tabular Data

Mohammed, Sedir, Lukas Budach+7 more|arXiv (Cornell University)|Jul 29, 2022

Explainable Artificial Intelligence (XAI)被引用数 135

ひとこと要約

実証的に、六つのデータ品質次元が分類、回帰、クラスタリングの三つの汚染シナリオ下で fifteen ML アルゴリズムの性能に与える影響を分析する。

ABSTRACT

Modern artificial intelligence (AI) applications require large quantities of training and test data. This need creates critical challenges not only concerning the availability of such data, but also regarding its quality. For example, incomplete, erroneous, or inappropriate training data can lead to unreliable models that produce ultimately poor decisions. Trustworthy AI applications require high-quality training and test data along many quality dimensions, such as accuracy, completeness, and consistency. We explore empirically the relationship between six data quality dimensions and the performance of 19 popular machine learning algorithms covering the tasks of classification, regression, and clustering, with the goal of explaining their performance in terms of data quality. Our experiments distinguish three scenarios based on the AI pipeline steps that were fed with polluted data: polluted training data, test data, or both. We conclude the paper with an extensive discussion of our observations.

研究の動機と目的

• データ品質がML性能を制限するかを検証することでデータ中心のAIを動機付ける。
• 六つのデータ品質次元を定義し、体系的な汚染方法を提供する。
• 汚染データの下で分類、回帰、クラスタリングの三つのタスクにわたって十五のMLアルゴリズムを評価する。
• 訓練データ、テストデータ、あるいは両方の品質が劣化したシナリオを比較する。
• データサイエンティストへの実践的洞察と今後の研究の方向性を提示する。

提案手法

• 六つのデータ品質次元を定義する：一貫性のある表現、完全性、特徴量の正確性、ターゲットの正確性、ユニーク性、ターゲットクラスのバランス。
• 次元ごとに制御されたデータ品質低下を注入するパラメータ化汚染者を開発する。
• 訓練データ、テストデータ、あるいは両方に汚染を適用して三つの実験シナリオを作成する。
• 分類、回帰、クラスタリングのタスクを横断して十五のMLアルゴリズムを評価する。
• 再現性のために固定乱数シードを用いた合成データセットと実データセットを使用する。
• データ品質とモデル性能の間に観察された関係を報告・議論する。

実験結果

リサーチクエスチョン

• RQ1 六つのデータ品質次元は分類、回帰、クラスタリングのタスク全体でML性能にどのような影響を与えるか？
• RQ2 訓練データとサービングデータの品質は、さまざまな汚染シナリオにおいてモデルの結果にどのような影響を与えるか？
• RQ3 データサイエンティストがMLパイプラインでデータ品質を管理する際に得られる実践的な教訓は何か？

主な発見

• 訓練データとテストデータの両方のデータ品質が、三つのタスクタイプすべてにおいてML性能に有意に影響する。
• 同じデータ品質の劣化に対して、異なるMLアルゴリズムは異なる反応を示し、タスクとモデルに依存する感度を持つ。
• 六つの次元に沿った体系的な汚染は、性能劣化の明確なパターンを明らかにし、特にターゲット正確性などいくつかの次元が他より影響力が大きい場合がある。
• 三つの汚染シナリオ（訓練データ汚染、テストデータ汚染、または両方）は、モデルの精度と頑健性に異なる影響をもたらす。
• 本研究は実践的なガイドラインを提供し、追加の品質次元とデータセットを用いたデータ中心AI研究の拡張方向を示唆する。