[論文レビュー] Are All Training Examples Created Equal? An Empirical Study

Kailas Vodrahalli, Ke Li+1 more|arXiv (Cornell University)|Nov 30, 2018

Machine Learning and Algorithms参考文献 18被引用数 45

ひとこと要約

この論文は、データセット間の訓練画像の相対的価値を評価する勾配ベースの重要度指標を導入し、小さな選択サブセットが全データセットをどれだけ再現できるかを検討します。MNISTには冗長性がある一方、CIFAR-10/100やImageNetには多様性（冗長性が少ない）が見られ、アクティブ学習とデータ収集への影響が示唆されます。

ABSTRACT

Modern computer vision algorithms often rely on very large training datasets. However, it is conceivable that a carefully selected subsample of the dataset is sufficient for training. In this paper, we propose a gradient-based importance measure that we use to empirically analyze relative importance of training images in four datasets of varying complexity. We find that in some cases, a small subsample is indeed sufficient for training. For other datasets, however, the relative differences in importance are negligible. These results have important implications for active learning on deep networks. Additionally, our analysis method can be used as a general tool to better understand diversity of training examples in datasets.

研究の動機と目的

• 深層学習の視覚タスクにおける大規模訓練データセットの特性を理解する必要性を動機づける。
• 訓練画像ごとの価値を定量化する勾配ベースの重要度指標を提案する。
• 勾配ベースの重要度で選択したサブサンプルが、複数のデータセットとアーキテクチャにおいて全データセットの性能をどれだけ再現できるかを評価する。
• データセット属性としての単純さと冗長性を分析し、多様性と訓練難易度を解釈する。

提案手法

• ネットワークを全データセットで訓練し、訓練終了時のモデルパラメータに対する損失の各画像ごとの勾配を計算する。
• 勾配の大きさを用いて訓練画像を重要度でランク付けし、上位-ranked 画像からサイズ k のサブサンプルを選択する。
• Random、Max-Gradient、Non-extreme Max-Gradient、Gradient-CDF（勾配の大きさに比例する確率サンプリング）を含むサブサンプリング戦略を比較する。
• 各サブサンプルでランダム初期化からモデルを再訓練し、Subsetの代表性の代理としてのテスト精度を測定する。
• 勾配ベースのランク付けのモデル間整合性と、上位k画像のクラスラベルエントロピーを分析して多様性とモデル依存性を評価する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの重要度スコアは、全データセットと同等の性能を達成できる小さな訓練画像のサブセットを特定できるか。
• RQ2 データセットの複雑さ（MNIST対 CIFAR-10/100 対 ImageNet）は、勾配ベースのサブサンプリングの有効性にどのように影響するか。
• RQ3 勾配ベースの重要度指標は、データセット内の異なるモデルアーキテクチャに対して頑健か。
• RQ4 勾配ベースのデータ選択を用いると、アクティブ学習とデータセット収集にはどのような影響があるか。

主な発見

• MNISTには substantial redundancy があり、Max-Gradient のサブサンプリングは全データの性能を、データ量のごく小さな割合だけで再現できる。
• CIFAR-10、CIFAR-100、ImageNet では一般に最良の性能にはほとんどの訓練例が必要であり、勾配ベースのサブサンプリングは CIFAR データセットに対してはしばしばランダムサンプリングよりも弱い。
• Gradient-CDF（確率的勾配ベースサンプリング）はランダムサンプリングに密接に一致し、純粋な Max-Gradient 法の歪みを緩和する。
• Top-gradient 画像はモデル特異的であり、“難しい”例はアーキテクチャに依存することを示す一方、勾配ベースの順序付けにはモデル間で一般化される結果もある。
• この研究は、深層ネットワークにおけるアクティブ学習は、CIFARとImageNetの方がMNISTより多様なデータセットに対して難易度が高くなる可能性があることを示唆する。