[論文レビュー] Dataset Distillation

Tongzhou Wang, Jun-Yan Zhu+2 more|arXiv (Cornell University)|Nov 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 21

ひとこと要約

本稿では、大規模な訓練データセットを、固定されたモデルで学習した場合に、完全なデータセット学習と同等の性能を達成する小さな合成画像の集合に圧縮する手法であるデータセット蒸留を提案する。実データの一般化行動を模倣するように合成画像の画素を最適化することにより、固定またはランダムな重み初期化の下でも、わずか10枚の合成画像と数ステップの勾配降下法を用いるだけで、高い精度（例：MNISTでは94％）を達成できる。

ABSTRACT

Model distillation aims to distill the knowledge of a complex model into a simpler one. In this paper, we consider an alternative formulation called dataset distillation: we keep the model fixed and instead attempt to distill the knowledge from a large training dataset into a small one. The idea is to synthesize a small number of data points that do not need to come from the correct data distribution, but will, when given to the learning algorithm as training data, approximate the model trained on the original data. For example, we show that it is possible to compress 60,000 MNIST training images into just 10 synthetic distilled images (one per class) and achieve close to original performance with only a few gradient descent steps, given a fixed network initialization. We evaluate our method in various initialization settings and with different learning objectives. Experiments on multiple datasets show the advantage of our approach compared to alternative methods.

研究の動機と目的

• 大規模な訓練データセットの知識が、少数の合成データポイントに圧縮可能かどうかを検討すること。
• わずか数枚の合成画像のみを用いて、数ステップの勾配降下法で高い性能を達成する高速なモデル学習を可能にすること。
• 固定、ランダム、事前学習済みの重みを含むさまざまな初期化設定でも動作する手法を開発すること。
• 少サンプルのドメイン適応やデータ汚染攻撃への応用を示すこと。
• 線形モデルの分析を通じて、深層学習におけるデータ圧縮の理論的限界を調査すること。

提案手法

• 合成訓練データの画素値をモデル重みの微分可能関数として定式化し、画像画素のエンドツーエンド最適化を可能にする。
• 合成データ上で学習した場合と完全データセット上で学習した場合の一般化ギャップを最小化するように、合成画像の画素値を最適化する。
• 2段階の最適化を採用：まず合成データで学習し、その後実データでファインチューニングすることで整合性を向上させる。
• 複数エポックの学習を想定し、段階的な改善プロセスを用いて、蒸留画像の系列を生成する。
• モデルの正確な初期重みにアクセスせずに、蒸留画像を生成する手法を開発し、ランダム初期化されたネットワークでも利用可能にする。
• 悪意のある目的（例：1ステップの勾配降下後に特定クラスを誤分類させるデータ汚染攻撃）に適応したフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 少数の合成画像が、大規模な実データセットの一般化能力を捉えられるか？
• RQ2 完全なデータセットと比較して、わずか数枚の合成画像での学習でどの程度のモデル性能が維持できるか？
• RQ3 固定、ランダム、事前学習済みの重みを含むさまざまなモデル初期化戦略において、データセット蒸留の有効性はどの程度か？
• RQ4 SVHNとMNIST間のドメイン適応において、蒸留画像が高速なファインチューニングを可能にし、少サンプル適応のベースラインを上回るか？
• RQ5 本手法を用いて、最小限の学習ステップで効果的なデータ汚染攻撃を実現できるか？

主な発見

• MNISTでは、数ステップの勾配降下法を用いた10枚の蒸留画像で94％のテスト精度を達成したが、完全データセットでは99％であった。
• CIFAR10では、固定初期化下で100枚の蒸留画像で54％の精度を達成したが、完全データセットでは80％であった。
• ランダム初期化下でも、100枚の蒸留画像で数ステップの勾配降下法後に80％の精度を達成し、重みのばらつきに対して高いロバストネスを示した。
• ドメイン適応の応用では、100枚の蒸留画像を用いて事前学習済みのSVHNモデルをMNISTで高精度にファインチューニングでき、少サンプル適応のベースラインを上回った。
• データ汚染攻撃において、1ステップの勾配降下で標的クラスを誤分類させる攻撃に成功し、CIFAR10においてベースラインを著しく上回った。
• PASCAL-VOCとCUB-200では、1クラスあたり1枚の蒸留画像でそれぞれ70.75％および38.76％の精度を達成し、完全なファインチューニングに近い性能を示した。