[論文レビュー] A Unified Framework for Task-Driven Data Quality Management

Tianhao Wang, Yi Zeng+2 more|arXiv (Cornell University)|Jun 10, 2021

Data Quality and Management参考文献 47被引用数 4

ひとこと要約

本稿では、学習済みデータユーティリティモデルを用いてデータ選択を最適化問題として定式化する、一元的でタスク指向の、モデルに依存しないデータ品質管理フレームワークであるDataSifterを提案する。この手法は、バックドア検出、データのバイアス除去、ノイズラベルの除去など、多様なDQMタスクにおいて、最先端の性能を達成しており、支配解析による理論的最悪ケース性能保証を提供する点で、従来のデータバリュエーションに基づく手法、特にシャープリー値アプローチを凌駕する。

ABSTRACT

High-quality data is critical to train performant Machine Learning (ML) models, highlighting the importance of Data Quality Management (DQM). Existing DQM schemes often cannot satisfactorily improve ML performance because, by design, they are oblivious to downstream ML tasks. Besides, they cannot handle various data quality issues (especially those caused by adversarial attacks) and have limited applications to only certain types of ML models. Recently, data valuation approaches (e.g., based on the Shapley value) have been leveraged to perform DQM; yet, empirical studies have observed that their performance varies considerably based on the underlying data and training process. In this paper, we propose a task-driven, multi-purpose, model-agnostic DQM framework, DataSifter, which is optimized towards a given downstream ML task, capable of effectively removing data points with various defects, and applicable to diverse models. Specifically, we formulate DQM as an optimization problem and devise a scalable algorithm to solve it. Furthermore, we propose a theoretical framework for comparing the worst-case performance of different DQM strategies. Remarkably, our results show that the popular strategy based on the Shapley value may end up choosing the worst data subset in certain practical scenarios. Our evaluation shows that DataSifter achieves and most often significantly improves the state-of-the-art performance over a wide range of DQM tasks, including backdoor, poison, noisy/mislabel data detection, data summarization, and data debiasing.

研究の動機と目的

• 機械学習に依存しない、タスクに依存しない、多様なデータ欠陊に対して効果が薄い従来のデータ品質管理（DQM）手法の限界を解消すること。
• シャープリー値を用いるような一般的なデータバリュエーションに基づくDQM手法が示す、劣悪な最悪ケース性能保証の問題を克服すること。
• さまざまな機械学習モデルやデータ品質問題（悪意ある攻撃、ラベルノイズ、バイアスなど）に適用可能なスケーラブルで多目的なDQMフレームワークを開発すること。
• 支配解析に基づく理論的枠組みを用いて、異なるDQM戦略の最悪ケース性能を厳密に比較すること。
• 未観測のデータポイントのデータユーティリティ推定を可能にし、データ取得意思決定やサブセット選択を支援する実用的データユーティリティ推定を可能にすること。

提案手法

• 下流の機械学習タスクのパフォーマンスを最大化することを目的とした最適なデータ選択問題としてDQMを定式化する。
• 小さな検証セットを用いて、セット関数学習アーキテクチャであるDeepSetを用いて、データサブセットの寄与度を予測するデータユーティリティモデルを学習する。
• 学習済みユーティリティモデルを最大化することで、モデルに依存せずタスク指向のデータサブセット選択を実現する。
• 大規模データセットにおける完全再訓練の必要性を減らすために、スケーラブルなサンプリングベースのアプローチを用いてデータユーティリティを推定する。
• 支配解析に基づく理論的枠組みを導入し、異なるDQM戦略の最悪ケース性能を厳密に比較する。
• ユーティリティモデルを活用して、未観測のデータポイントのユーティリティを推定し、従来のバリュエーションベース手法に比べてスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合的でタスク指向のDQMフレームワークは、多様なデータ品質問題において、従来のバリュエーションベース手法を上回る性能を発揮できるか？
• RQ2 実用的シナリオにおいて、シャープリー値に基づくDQM戦略の最悪ケース性能は、他の手法と比べてどの程度劣るのか？
• RQ3 学習済みデータユーティリティモデルは、フルデータセットの再訓練を必要としない状況において、スケーラビリティと一般化性能をどの程度向上できるか？
• RQ4 支配解析に基づく提案された理論的枠組みは、DQM戦略に対して意味のある性能保証を提供できるか？
• RQ5 DataSifterのモデルに依存しない設計は、さまざまな機械学習モデルやデータ欠陊タイプにおいても強力な性能を維持できるか？

主な発見

• DataSifterは、バックドア検出、ノイズ/誤ラベル検出、データ要約、データデバイアス処理の各タスクにおいて、最先端のバリュエーションベースDQM手法を著しく上回る性能を示した。
• シャープリー値に基づくアプローチは、その人気にもかかわらず、理論的解析（支配解析）により、特定の実用的シナリオで最悪のデータサブセットを選択してしまう可能性があることが示された。
• 10,000サンプルの汚染済みCIFAR-10サブセットにおいて、DataSifterは1つのGPUで5時間以内に優れた性能を達成したが、LOO、リーマスコア、大多数のシャープリー変種は24時間以内に終了しなかった。
• DataSifterの学習済みユーティリティモデルは、未観測のデータポイントのユーティリティを正確に推定でき、従来のバリュエーションベース手法がフルデータセットの再訓練を必要とするのとは対照的である。
• 8つの多様なデータセットと6つの異なるDQMタスクにおいて、DataSifterは最先端の性能を達成し、ロバストネスと一般化性能を示した。
• 実験的結果により、DataSifterのユーティリティ学習モデルが良好に一般化されることを確認でき、大規模データセットのフル再訓練を伴わずに効率的なサブセット選択が可能であることが示された。