[論文レビュー] Data-OOB: Out-of-bag Estimate as a Simple and Efficient Data Value

Yongchan Kwon, James Zou|arXiv (Cornell University)|Apr 16, 2023

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、アンサンブルモデルにおけるOut-of-Bag (OOB)推定値を活用することで、再訓練を伴わずにデータの価値を割り当てる計算効率の高いデータバリュエーション手法であるData-OOBを提案する。1つのCPUを用いて100万件のサンプルに対して2.25時間未塔の推論を達成し、誤ラベル付きデータおよび影響力のあるデータポイントを同定する点で最先端の手法を上回る性能を示した。

ABSTRACT

Data valuation is a powerful framework for providing statistical insights into which data are beneficial or detrimental to model training. Many Shapley-based data valuation methods have shown promising results in various downstream tasks, however, they are well known to be computationally challenging as it requires training a large number of models. As a result, it has been recognized as infeasible to apply to large datasets. To address this issue, we propose Data-OOB, a new data valuation method for a bagging model that utilizes the out-of-bag estimate. The proposed method is computationally efficient and can scale to millions of data by reusing trained weak learners. Specifically, Data-OOB takes less than 2.25 hours on a single CPU processor when there are $10^6$ samples to evaluate and the input dimension is 100. Furthermore, Data-OOB has solid theoretical interpretations in that it identifies the same important data point as the infinitesimal jackknife influence function when two different points are compared. We conduct comprehensive experiments using 12 classification datasets, each with thousands of sample sizes. We demonstrate that the proposed method significantly outperforms existing state-of-the-art data valuation methods in identifying mislabeled data and finding a set of helpful (or harmful) data points, highlighting the potential for applying data values in real-world applications.

研究の動機と目的

• 大規模データセットにおけるシャープリー値に基づくデータバリュエーション手法の計算不能性に対処する。
• 実世界の機械学習応用に適した、計算効率的かつ統計的に解釈可能なデータバリュエーションフレームワークを開発する。
• 再訓練を回避し、計算コストを低減するために、アンサンブルモデル（例えばランダムフォレスト）に既存の弱学習器を活用する。
• やや厳しい正則性条件の下で、無限小ジャッキークインfluence関数と同等の順序の一貫性を保証することで、既存の影響力測定と整合性を確保する。
• 多様な分類データセットにおいて、役立つ、有害な、誤ラベル付きのデータポイントを同定する点で優れた性能を示す。

提案手法

• バギングモデルにおけるブートストラップサンプリングからのOut-of-Bag (OOB)推定値を活用し、再訓練を伴わずにデータ値を計算する。
• 各ブートストラップ反復においてOOBサンプル上で評価されたモデル性能スコアの平均値としてデータ値を割り当てる。
• 事前に訓練済みの弱学習器（例えばランダムフォレストにおける決定木）を再利用することで、モデル訓練後は1データポイントあたりO(1)の推論コストを実現する。
• OOB予測を集約することで影響力の閉形式近似を採用し、完全なモデル再訓練の必要性を回避する。
• 理論的基盤：やや厳しい正則性条件の下で、Data-OOBが無限小ジャッキークイン影響関数と同一のデータポイント順序を保持することを証明する。
• ランダムフォレストが適用可能な任意のテーブルデータセットに適用可能であり、データ中心の機械学習ワークフローにおいて広く展開可能である。

Figure 1: Illustration of the proposed data valuation method. The OOB stands for the out-of-bag set. For each bootstrap sampling procedure, we evaluate an estimate $T_{b}(\star)$ if the datum $\star$ is in the OOB set. Here, $T_{b}(\star)$ is a score of the model trained with the $b$ -th bootstrap d

実験結果

リサーチクエスチョン

• RQ1 バギングモデルにおけるOOB推定値に基づくデータバリュエーション手法は、計算効率と統計的解釈可能性の両方を達成できるか？
• RQ2 Data-OOBは、データポイントの順序付けにおいて、無限小ジャッキークインのような既存の影響力測定と一貫性を保っているか？
• RQ3 Data-OOBは、誤ラベル付きデータおよび影響力のあるデータポイントを同定する点で、最先端のデータバリュエーション手法と比較して優れているか？
• RQ4 Data-OOBは、大規模データセット（例：100万件のサンプル）に対しても、最小限の計算コストでスケーラブルか？
• RQ5 アンサンブル内の弱学習器の数（B）の変動に対して、Data-OOBはどれほど頑健か？

主な発見

• 100万件のサンプル（100次元特徴）を含むデータセットに対して、単一のCPUを用いてData-OOBは2.25時間未塔でデータ値を計算し、再訓練に基づく手法を著しく上回った。
• 弱学習器の数（B ∈ {400, 800, 3200}）の変化に関わらず、誤ラベル付きデータ検出のF1スコアが安定しており、ハイパーパrameter選択に対する頑健性を示した。
• 12種類の分類データセットにおける実験では、Data-OOBはKNN-ShapleyおよびAMEを上回り、データ削除後の分布シフトの観点から役立つ・有害なデータポイントを効果的に同定した。
• Data-OOBは無限小ジャッキークイン影響関数と順序の一貫性を示し、2つのデータポイントを比較した際に、より影響力の強いデータポイントを同じ順序でランク付けした。
• 既存の最先端手法よりも誤ラベル付きデータをより効果的に同定でき、データキュレーションおよびデータ品質評価の分野での実用的価値を示した。
• Data-OOBは弱学習器の数Bに敏感ではなく、さまざまなアンサンブルサイズにおいて安定した性能を示した。これは実用的利便性を高める要因となった。

Figure 2: Elapsed time comparison between KNN Shapley , AME , and Data-OOB . We use a synthetic binary classification dataset with (left) $d=10$ and (right) $d=100$ . We exclude the setting $(n,d)=(5\times 10^{5},100)$ as KNN Shapley exceeds 24 hours. The error bar indicates a 95% confidence interva