[論文レビュー] OpenDataVal: a Unified Benchmark for Data Valuation

Kevin Fu Jiang, Weixin Liang+2 more|arXiv (Cornell University)|Jun 18, 2023

Data Quality and ManagementDecision Sciences被引用数 3

ひとこと要約

OpenDataVal は、研究者や実務家が多様なデータセットおよび機械学習タスクにおいて最先端のデータバリュエーションアルゴリズムを評価・比較できる統合的でオープンソースのベンチマークフレームワークです。11種類のSOTAデータバリュエーション手法を統合し、scikit-learnおよびPyTorchのモデルをサポートしており、ノイズラベル検出、ノイズ特徴検出、ポイント削除、ポイント追加の4つの下流タスクを提供しています。その結果、どのアルゴリズムも全タスクで一貫して優れているわけではなく、状況に応じて性能が異なることが明らかになりました。

ABSTRACT

Assessing the quality and impact of individual data points is critical for improving model performance and mitigating undesirable biases within the training dataset. Several data valuation algorithms have been proposed to quantify data quality, however, there lacks a systemic and standardized benchmarking system for data valuation. In this paper, we introduce OpenDataVal, an easy-to-use and unified benchmark framework that empowers researchers and practitioners to apply and compare various data valuation algorithms. OpenDataVal provides an integrated environment that includes (i) a diverse collection of image, natural language, and tabular datasets, (ii) implementations of eleven different state-of-the-art data valuation algorithms, and (iii) a prediction model API that can import any models in scikit-learn. Furthermore, we propose four downstream machine learning tasks for evaluating the quality of data values. We perform benchmarking analysis using OpenDataVal, quantifying and comparing the efficacy of state-of-the-art data valuation approaches. We find that no single algorithm performs uniformly best across all tasks, and an appropriate algorithm should be employed for a user's downstream task. OpenDataVal is publicly available at https://opendataval.github.io with comprehensive documentation. Furthermore, we provide a leaderboard where researchers can evaluate the effectiveness of their own data valuation algorithms.

研究の動機と目的

• データバリュエーションアルゴリズムを評価するための標準的で使いやすいベンチマークの欠如に対処すること。
• 画像、表形式、NLPの多様なデータタイプにおいて、最先端のデータバリュエーション手法を体系的に比較可能にする。
• オープンソースコードとパブリックリーダーボードを通じて、データバリュエーション研究の再現可能性と透明性を支援すること。
• 実世界の下流機械学習タスクにおけるデータバリュエーションアルゴリズムの有効性を評価すること。
• 特定のユースケースに応じて適切なデータバリュエーション手法を選定する手がかりを実務家に提供すること。

提案手法

• データセット、バリュエーションアルゴリズム、モデル、メトリクス、ハイパーパramータを指定するための統合API「ExperimentMediator」を導入。
• DataShapley、BetaShapley、LOO、DVRLなどを含む11種類の最先端データバリュエーションアルゴリズムの統合をサポート。
• OpenML、scikit-learn、PyTorch から取得可能な公開データセットのコレクションを提供し、画像、表形式、NLPタスクに対応。
• scikit-learnおよびPyTorchのAPIを介してモデルのインポートを可能にし、従来型およびディープラーニングモデルを両方サポート。
• 4つの下流評価タスク（ノイズラベル検出、ノイズ特徴検出、ポイント削除、ポイント追加）を採用。
• 研究者が自らのデータバリュエーションアルゴリズムを提出・ベンチマークできるパブリックリーダーボードを提供。

Figure 1: OpenDataVal is an open-source, easy-to-use and unified benchmark framework for data valuation. It contains a diverse collection of datasets, implementations of eleven state-of-the-art data valuation algorithms, and a variety of modern prediction models. In addition, OpenDataVal provides se

実験結果

リサーチクエスチョン

• RQ1 多様なデータタイプおよび下流機械学習タスクにおいて、どのデータバリュエーションアルゴリズムが最も優れた性能を示すか？
• RQ2 異なるデータバリュエーション手法は、学習データ内のノイズラベルを検出する際にどのように比較されるか？
• RQ3 データポイントを削除または追加した際、データバリュエーションスコアとモデルパフォーマンスの相関はどの程度高いか？
• RQ4 実世界のデータセットにおいて、誤ラベルや低品質データを効果的に特定できるか？
• RQ5 普遍的に最適なデータバリュエーション手法は存在するのか、それともパフォーマンスは特定の下流タスクに依存するのか？

主な発見

• 4つの下流タスクすべてにおいて一貫して優れた性能を示すデータバリュエーションアルゴリズムは存在せず、タスク固有のパフォーマンス差が顕著である。
• DataShapley および BetaShapley は、CIFAR-10 などの画像データセットにおいて、ノイズラベル検出で優れた性能を示した。
• LOO および AME は、特に表形式およびNLP環境において、ポイント削除および追加の実験で競争力ある結果を示した。
• データモダリティ（画像、表形式、NLP）によってデータバリュエーション手法のパフォーマンスに顕著な差が見られ、画像データではより一貫した結果が得られた。
• ベンチマークから、アルゴリズム選定は、データクリーニングやモデルデバッグなどの具体的な下流タスクに応じて行われるべきであることが明らかになった。
• OpenDataVal フレームワークは再現可能な評価を可能にし、パブリックリーダーボードおよびオープンソースリポジトリを通じてコミュニティ主導の進展を支援している。