[論文レビュー] ActiveClean: Interactive Data Cleaning While Learning Convex Loss Models

Sanjay Krishnan, Jiannan Wang+3 more|arXiv (Cornell University)|Jan 15, 2016

Data Quality and Management参考文献 33被引用数 24

ひとこと要約

ActiveClean は、モデルフィードバックを用いてクリーニング作業を誘導しながら、凸損失モデル（例：線形回帰、SVM）を段階的に訓練する画期的なインタラクティブなデータクリーニングフレームワークである。収束保証を備え、一様サンプリングやアクティブラーニングと比較して必要なクリーニングを最大2.5倍まで削減し、重要度サンプリングとモデルに配慮した検出を用いて、高い影響力を持つ可能性の高い汚染済みレコードを優先することで、固定されたクリーニング予算下でも高い精度を達成する。

ABSTRACT

Data cleaning is often an important step to ensure that predictive models, such as regression and classification, are not affected by systematic errors such as inconsistent, out-of-date, or outlier data. Identifying dirty data is often a manual and iterative process, and can be challenging on large datasets. However, many data cleaning workflows can introduce subtle biases into the training processes due to violation of independence assumptions. We propose ActiveClean, a progressive cleaning approach where the model is updated incrementally instead of re-training and can guarantee accuracy on partially cleaned data. ActiveClean supports a popular class of models called convex loss models (e.g., linear regression and SVMs). ActiveClean also leverages the structure of a user's model to prioritize cleaning those records likely to affect the results. We evaluate ActiveClean on five real-world datasets UCI Adult, UCI EEG, MNIST, Dollars For Docs, and WorldBank with both real and synthetic errors. Our results suggest that our proposed optimizations can improve model accuracy by up-to 2.5x for the same amount of data cleaned. Furthermore for a fixed cleaning budget and on all real dirty datasets, ActiveClean returns more accurate models than uniform sampling and Active Learning.

研究の動機と目的

• 予測モデリングにおける系統的なバイアスの問題に取り組むこと。これは、統計的独立性の仮定を破る反復的データクリーニングによって引き起こされる。
• アナリストの作業時間の約80％を占める高い人的コストを伴うデータクリーニングの負担を軽減するため、自動化と誘導を実現すること。
• 段階的データクリーニング中の段階的モデル更新について、形式的な収束および誤差バウンディングを提供すること。
• モデル構造を活用して、モデルパフォーマンスに最も影響を与える可能性の高いレコードを優先する、クリーニングの効率を最適化すること。
• 固定されたクリーニング予算下で、一様サンプリングやアクティブラーニングに代えて、モデルに情報に基づくサンプリング戦略を採用することで、モデルの精度を向上させること。

提案手法

• ActiveClean は凸最適化フレームワークを用いて、バッチサイズ b と反復回数 T に対して、期待値における単調収束率 O(1/√(bT)) を保証しながら、モデルパラメータを段階的に更新する。
• 更新誤差を最小化する理論的最適サンプリング分布を導出し、実際の応用ではその近似を用いて推定する。
• 汚染済みと予想されるレコードを特定・優先するため、データ検出技術と統合し、クリーンなデータのサンプリングを回避する。
• モデル勾配と損失感度に基づく重要度サンプリングを採用し、モデル精度に最も影響を与えるレコードに集中してクリーニングを実施する。
• 更新のバッチ処理をサポートすることで、計算効率を向上させつつ、収束保証を維持する。
• モデルをホワイトボックスとして扱い、凸性と最適化理論を活用することで、段階的クリーニング中に精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 データクリーニング中に段階的なモデル更新を実施しても、クリーニング対象レコード数を削減しつつ、モデルの精度を維持できるか。
• RQ2 モデル構造を活用することで、モデルパフォーマンスに最も影響を与えるレコードにデータクリーニングを誘導する方法は何か。
• RQ3 凸損失モデルの段階的クリーニングにおいて、更新誤差を最小化するサンプリング戦略は何か。
• RQ4 固定されたクリーニング予算下で、ActiveClean は一様サンプリングやアクティブラーニングと比較して、モデル精度でどのように差をつけるか。
• RQ5 SampleClean やアクティブラーニングなどの既存手法と比較して、ActiveClean が優れる条件は何か。

主な発見

• 同じ量のデータをクリーニングした場合、ActiveClean は一様サンプリングやアクティブラーニングと比較して、モデル精度を最大2.5倍まで向上させる。
• UCI Adult、EEG、MNIST、Dollars For Docs、WorldBank といったすべての実世界の汚染済みデータセットにおいて、固定されたクリーニング予算下で ActiveClean は一様サンプリングやアクティブラーニングよりも高いモデル精度を達成する。
• 汚染率が低い場合（例：5％）、ActiveClean は同じモデル精度に到達するためのクリーニング対象レコード数を、アクティブラーニングや SampleClean よりも少なくする。
• 汚染率が非常に高い場合（例：50％）にのみ、SampleClean が ActiveClean を上回るが、これは ActiveClean がスパースなエラーに最適化されていることを示している。
• 2つの実世界のシナリオにおいて、同じ数のレコードをクリーニングした場合、ActiveClean は SampleClean やアクティブラーニングよりもはるかに高い精度のモデルを返した。
• 重要度サンプリング、汚染データ検出、推定の組み合わせにより、ActiveClean は小さなサンプルサイズでも著しく高い精度のモデルを実現する。