[論文レビュー] Dataset Condensation with Gradient Matching

Bo Zhao, Konda Reddy Mopuri+1 more|arXiv (Cornell University)|Jun 10, 2020

Machine Learning and Data Classification参考文献 63被引用数 105

ひとこと要約

この論文は、勾配を大規模な実データセットに一致させることで小さな合成データセットを学習させ、サンプル数を大幅に減らしてもアーキテクチャ間で性能を維持しつつ、ゼロからのトレーニングを可能にします。

ABSTRACT

As the state-of-the-art machine learning methods in many fields rely on larger datasets, storing datasets and training models on them become significantly more expensive. This paper proposes a training set synthesis technique for data-efficient learning, called Dataset Condensation, that learns to condense large dataset into a small set of informative synthetic samples for training deep neural networks from scratch. We formulate this goal as a gradient matching problem between the gradients of deep neural network weights that are trained on the original and our synthetic data. We rigorously evaluate its performance in several computer vision benchmarks and demonstrate that it significantly outperforms the state-of-the-art methods. Finally we explore the use of our method in continual learning and neural architecture search and report promising gains when limited memory and computations are available.

研究の動機と目的

• 大規模データセットを小さく有益な合成集合へ凝縮することでデータ効率の良い学習を動機付ける。
• データセット凝縮を実データと合成データのトレーニング損失の勾配マッチングとして定式化する。
• 現代の深層ネットに対してスケーラブルな最適化を実現するカリキュラム勾配マッチングアプローチを開発する。
• 凝縮データはアーキテクチャを超えた一般化性能を持つトレーニングをゼロから実現できることを示す。

提案手法

• ニューネットワークを訓練するためのラベル付き合成サンプル集合Sを定義する。
• ネットワークパラメータに対する損失L^SとL^Tの勾配間の勾配マッチング目的関数D(·,·)を定式化する。
• 高価なアンROLL（アンローリング）を避けるため、オプティマイザのステップを追跡するカリキュラム勾配マッチング戦略を用いる。
• 層間の勾配距離を最小化することでSを更新する固定ステップ内側ループを用いたバック最適化を適用する。
• S上でネットワークを訓練して全データセット上の訓練を近似し、アーキテクチャを超えた一般化を可能にする。
• 勾配マッチング距離を層ごとの項に分解し、FCおよびConv層の出力ノードごとのグルーピングを用いる（式(10)）。

実験結果

リサーチクエスチョン

• RQ1 大規模な画像データセットを小さな合成集合へ圧縮しても下流の性能で大幅な損失は生じないか。
• RQ2 合成集合で訓練したネットワークは実画像へ一般化し、異なるアーキテクチャにも適用できるか。
• RQ3 単一の凝縮集合は複数のネットワークアーキテクチャの訓練に有効か。
• RQ4 勾配マッチングはデータセット凝縮のための内部ループのアンローリングに代わる、スケーラブルでメモリ効率の良い代替となるか。

主な発見

• 凝縮集合は MNIST、FashionMNIST、SVHN、CIFAR-10 の複数アーキテクチャにわたり、ランダム、Herding、K-Center、Forgetting、DD といったコアセットベースのベースラインを上回る。
• MNIST の各クラス50枚では、方法は全データセットの上限値の99.6%に相当する性能を達成する（全データセット上限値99.6%、クラスごと50枚での95? 98.8%のように表記されているが、出典には50枚で98.8%との記述もある）。