[論文レビュー] Data Pruning via Moving-one-Sample-out

Haoru Tan, Sitong Wu+5 more|arXiv (Cornell University)|Oct 23, 2023

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、1つのサンプルを除いた際の最適な経験的リスクへの影響を測定することで、情報量が少ないサンプルを同定・削除する、Moving-one-Sample-out (MoSo) と呼ばれる新しいデータプリーニング手法を提案する。1次勾配に基づく近似を用い、線形時間計算量と保証された誤差バウンドを達成することで、MoSoはトレーニングダイナミクスを捉え、特に高 pruning 確率の状況下で先行手法を上回り、さまざまなアーキテクチャに一般化可能であり、ノイズのあるデータに対してもロバストである。

ABSTRACT

In this paper, we propose a novel data-pruning approach called moving-one-sample-out (MoSo), which aims to identify and remove the least informative samples from the training set. The core insight behind MoSo is to determine the importance of each sample by assessing its impact on the optimal empirical risk. This is achieved by measuring the extent to which the empirical risk changes when a particular sample is excluded from the training set. Instead of using the computationally expensive leaving-one-out-retraining procedure, we propose an efficient first-order approximator that only requires gradient information from different training stages. The key idea behind our approximation is that samples with gradients that are consistently aligned with the average gradient of the training set are more informative and should receive higher scores, which could be intuitively understood as follows: if the gradient from a specific sample is consistent with the average gradient vector, it implies that optimizing the network using the sample will yield a similar effect on all remaining samples. Experimental results demonstrate that MoSo effectively mitigates severe performance degradation at high pruning ratios and achieves satisfactory performance across various settings.

研究の動機と目的

• 既存のデータプリーニング手法が、難易度の高いサンプルやノイズのあるサンプルを真に情報量の多いサンプルと混同するという限界を是正するため、経験的リスクの変化を測定することでサンプルの重要度を評価すること。
• サンプルの影響を測定するための計算コストが非常に高い leave-one-out 再訓練の代替手段として、効率的かつスケーラブルな手法を開発すること。
• トレーニングエポックにわたる勾配の一貫性を分析することで、トレーニングダイナミクスをサンプルの重要度推定に組み込むこと。
• MoSoを用いて選択されたプリーニング済みデータセットが、多様なアーキテクチャにわたって一般化できることを向上させるとともに、ラベルノイズ下でもロバストであるようにすること。

提案手法

• MoSoは、1つのサンプルを訓練セットから除外した際の最適な経験的リスクの変化として、サンプルの重要度を定義し、モデル性能への寄与度を捉える。
• 本手法は、個々のサンプルの勾配とトレーニング段階全体における平均勾配との間の勾配整合性を用いて、この変化を1次近似で推定する。
• 各トレーニングエポックにおいて、サンプルの勾配と期待される勾配ベクトルとのコサイン類似度に基づくスコアを計算し、整合性が高いほど重要度が高くなる。
• この近似手法は線形時間計算量を達成し、近似誤差に関する理論的保証を提供するため、完全な再訓練を回避できる。
• 並列化による高速化スキームを導入し、データセットを複数のデバイスに分割することで、局所的なサブセットを用いてグローバルな MoSo スコアを近似し、スケーラブルな MoSo スコアリングを実現する。
• 本フレームワークは、サロネスネットワークの訓練と MoSo スコアリングを統合しており、サロネスモデルをサブセットで訓練することで、効率的な勾配計算を可能にする。

(a) (a) CIFAR-100

実験結果

リサーチクエスチョン

• RQ1 サンプルの除外に伴う経験的リスクの変化を測定することで、難易度ベースの指標に比べ、真に情報量の多いサンプルの同定が改善されるか？
• RQ2 計算コストが非常に高い leave-one-out 再訓練手順を、正確性を損なわず効率的に近似できるか？
• RQ3 エポックにわたる勾配の進化を分析することで、トレーニングダイナミクスを組み込むことで、サンプルの重要度推定が向上するか？
• RQ4 MoSo を用いて選択されたプリーニングコアセットは、再訓練なしにさまざまなアーキテクチャに一般化できるか？
• RQ5 既存の重要度ベースのプリーニング手法と比較して、MoSo は高レベルのラベルノイズ下でどのように性能を発揮するか？

主な発見

• MoSo は、CIFAR-100、Tiny-ImageNet、ImageNet-1K において、特に高 pruning 確率の状況で最先端の手法を大きく上回り、CIFAR-100 では 20% の pruning 確率で 76.58% の Top-1 精度を達成した。
• MoSo が選択したプリーニングコアセットは、SENet や EfficientNet といった未学習のアーキテクチャに対しても良好に一般化され、強力な転送性を示した。
• MoSo は合成ラベルノイズ下でも高い性能を維持し、難易度ベースの手法と比較して、ロバストネスベンチマークで大きく上回った。
• サロネスネットワークのトレーニングエポック数を 100 を超えて増加させても、プリーニング性能が一様に向上するとは限らず、50 から 200 エポックにかけてはわずか 0.82% の精度向上にとどまり、近似誤差の理論的トレードオフを確認した。
• データセットをより多くのサブセットに分割することでプリーニング性能が向上し、より小さな局所的セットが個々のサンプルの影響をよりよく捉えていることが示された。
• MoSo 推定器は線形時間計算量を達成し、近似誤差に関する保証を提供するため、大規模データセットに対してスケーラブルかつ信頼性が保証された。

(b) (b) Tiny-ImageNet