[論文レビュー] LAVA: Data Valuation without Pre-Specified Learning Algorithms

Hoang Anh Just, Feiyang Kang+5 more|arXiv (Cornell University)|Apr 28, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

LAVAは、事前に指定された学習アルゴリズムに依存しない学習に依存しないデータ価値評価フレームワークを導入する。検証性能の代理指標としてクラス別 Wasserstein 距離を用い、この距離の感度分析を通じてデータ価値を計算することで、高速でスケーラブルかつロバストな価値評価を実現し、低品質データの検出において最先端の手法を上回る性能を発揮するとともに、既存手法と比較して100倍以上高速である。

ABSTRACT

Traditionally, data valuation (DV) is posed as a problem of equitably splitting the validation performance of a learning algorithm among the training data. As a result, the calculated data values depend on many design choices of the underlying learning algorithm. However, this dependence is undesirable for many DV use cases, such as setting priorities over different data sources in a data acquisition process and informing pricing mechanisms in a data marketplace. In these scenarios, data needs to be valued before the actual analysis and the choice of the learning algorithm is still undetermined then. Another side-effect of the dependence is that to assess the value of individual points, one needs to re-run the learning algorithm with and without a point, which incurs a large computation burden. This work leapfrogs over the current limits of data valuation methods by introducing a new framework that can value training data in a way that is oblivious to the downstream learning algorithm. Our main results are as follows. (1) We develop a proxy for the validation performance associated with a training set based on a non-conventional class-wise Wasserstein distance between training and validation sets. We show that the distance characterizes the upper bound of the validation performance for any given model under certain Lipschitz conditions. (2) We develop a novel method to value individual data based on the sensitivity analysis of the class-wise Wasserstein distance. Importantly, these values can be directly obtained for free from the output of off-the-shelf optimization solvers when computing the distance. (3) We evaluate our new data valuation framework over various use cases related to detecting low-quality data and show that, surprisingly, the learning-agnostic feature of our framework enables a significant improvement over SOTA performance while being orders of magnitude faster.

研究の動機と目的

• 既存のデータ価値評価手法が特定の学習アルゴリズムに依存するという限界に対処すること。これは、初期段階のデータ収集やデータマーケットプレイスにおける応用を妨げる。
• モデルの性能指標に依存することなく、leave-one-out や協力的ゲーム理論に基づく価値評価に伴う再訓練の計算負荷を回避すること。
• データの複製やノイズに対してロバストなデータ価値評価手法を開発し、データがコピーされたり摂動を受けても安定した価値が得られることを保証すること。
• 追加の訓練を必要とせず、市販の最適化ソルバーから直接計算可能な、効率的でスケーラブルなデータ価値評価を実現すること。
• モデル選択やハイパーパrameterチューニングの前段階においても適用可能な、分布に基づく汎用的なデータ価値評価フレームワークを提供すること。

提案手法

• モデルの一般化性能の代理指標として、訓練集合と検証集合の間の非伝統的なクラス別 Wasserstein 距離を提案する。
• 特徴量-ラベルペアの間の分布シフトを捉えるために、ハイブリッドなユークリッド-Wasserstein コスト関数を用いる。
• モデルクラスに対するリプシッツ連続性の仮定に基づき、検証性能の理論的上限を確立する。
• 個々のデータポイントの確率質量への摂動に対する Wasserstein 距離の感度分析を通じて、データ価値を導出する。
• 標準的な最適輸送ソルバー（例：geomloss, otdd）を活用し、距離とデータ価値を追加コストなしに同時に計算する。
• 自然に重複データを無視し、小さな特徴量やラベルの摂動に対してもロバストな分布型の定式化を採用する。

実験結果

リサーチクエスチョン

• RQ1 特定の下流学習アルゴリズムに依存しないデータ価値評価フレームワークを設計できるか？
• RQ2 訓練集合と検証集合の間のクラス別 Wasserstein 距離を用いて、モデルの一般化性能を効果的に代理できるか？
• RQ3 再訓練を伴わず、この距離の感度分析により、効率的かつ正確にデータ価値を計算できるか？
• RQ4 最先端の手法と比較して、誤ラベル付き、汚染済み、ノイズを含む例などの低品質データを検出する際、提案手法の性能はいかがなものか？
• RQ5 データの複製や小さな摂動に対してロバストであるため、実世界のデータマーケットプレイスに適しているか？

主な発見

• LAVAは、誤ラベル付き、汚染済み、ノイズを含むデータを含む複数のベンチマークで、低品質データ検出において最先端の性能を達成する。
• 既存の学習依存型データ価値評価手法と比較して最大100倍高速であり、実行時間はデータセットサイズに線形にスケーリングする。
• データの複製に対してクラス別 Wasserstein 距離は変化しないため、複製に対してロバストであることが示された。
• 小さな特徴量やラベルの摂動が距離に与える影響は最小限であり、ノイズに対して安定していることが示された。
• 感度分析により得られるデータ価値は、標準的な最適輸送ソルバーから直接得られ、追加計算を要しない。
• ImageNet-100を用いた実験では、25%の誤ラベル付きデータが存在する状況でも高い精度を維持し、従来手法の検出率を上回った。