[論文レビュー] Towards Lossless Dataset Distillation via Difficulty-Aligned Trajectory Matching

Ziyao Guo, Kai Wang+4 more|arXiv (Cornell University)|Oct 9, 2023

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

本稿では、合成データのパターンの難易度を合成データセットのサイズに動的に一致させる、新しいデータセット蒸留法である Difficulty-Aligned Trajectory Matching (DATM) を提案する。低IPCでは初期段階、高IPCでは後期段階の訓練軌道をマッチングすることで、IPCが増加しても性能が低下する既存の軌道マッチング手法とは異なり、CIFAR-10 においてもフルデータセットサイズでも損失なしの性能を達成する。

ABSTRACT

The ultimate goal of Dataset Distillation is to synthesize a small synthetic dataset such that a model trained on this synthetic set will perform equally well as a model trained on the full, real dataset. Until now, no method of Dataset Distillation has reached this completely lossless goal, in part due to the fact that previous methods only remain effective when the total number of synthetic samples is extremely small. Since only so much information can be contained in such a small number of samples, it seems that to achieve truly loss dataset distillation, we must develop a distillation method that remains effective as the size of the synthetic dataset grows. In this work, we present such an algorithm and elucidate why existing methods fail to generate larger, high-quality synthetic sets. Current state-of-the-art methods rely on trajectory-matching, or optimizing the synthetic data to induce similar long-term training dynamics as the real data. We empirically find that the training stage of the trajectories we choose to match (i.e., early or late) greatly affects the effectiveness of the distilled dataset. Specifically, early trajectories (where the teacher network learns easy patterns) work well for a low-cardinality synthetic set since there are fewer examples wherein to distribute the necessary information. Conversely, late trajectories (where the teacher network learns hard patterns) provide better signals for larger synthetic sets since there are now enough samples to represent the necessary complex patterns. Based on our findings, we propose to align the difficulty of the generated patterns with the size of the synthetic dataset. In doing so, we successfully scale trajectory matching-based methods to larger synthetic datasets, achieving lossless dataset distillation for the very first time. Code and distilled datasets are available at https://gzyaftermath.github.io/DATM.

研究の動機と目的

• 合成データセットサイズが増加する際、性能が低下する既存のデータセット蒸留手法の限界を解消すること。
• 軌道マッチングに基づく手法が高IPC設定で失敗する理由を解明すること。
• 蒸留中に学習されるパターンの難易度（簡単 vs. 困難）が、合成データセットのサイズと一致している必要があることの特定。
• 低IPCおよび高IPCの両環境で高い性能を維持し、損失なしの蒸留を達成する手法の開発。
• 軌道マッチングの訓練段階（初期 vs. 後期）の選択が、IPCに応じて蒸留品質に顕著な影響を与えることの実証。

提案手法

• 教師ネットワークの特定の訓練段階（初期または後期）を選択し、目的のIPCに応じてマッチングする、Difficulty-Aligned Trajectory Matching (DATM) を提案する。
• 軌道マッチングを用いて、学生モデルが合成データ上で経験する訓練ダイナミクスが、実データ上で経験するものと一致するように合成データを最適化する。
• 初期段階（簡単なパターン）または後期段階（難しいパターン）の軌道をマッチングすることで、生成されたパターンの難易度を制御する。
• 目的のIPCに応じて、初期段階（低IPC）と後期段階（高IPC）の軌道マッチングを動的に切り替える。
• 高IPC環境では、長尾分布や複雑なデータ分布をカバーするために、難しいパターンが不可欠であるという洞察を活用する。
• 深く、高容量のネットワーク（例：ResNet18）を蒸留ネットワークとして用いることで、IPCが増加するにつれてその有効性が向上することを検証する。

Figure 1: (a) Illustration of the objective of dataset distillation. (b) The optimization in dataset distillation can be viewed as the process of generating informative patterns on the synthetic dataset. (c) We align the difficulty of the synthetic patterns with the size of the distilled dataset, to

実験結果

リサーチクエスチョン

• RQ1 既存の軌道マッチングに基づくデータセット蒸留手法が、より大きな合成データセットにスケーリングできないのはなぜか？
• RQ2 蒸留中に学習されるパターンの難易度（簡単 vs. 困難）は、合成データセットのサイズとどのように関係しているか？
• RQ3 合成データセットのサイズに応じて、合成パターンの難易度を一致させることで、すべてのIPC環境で蒸留性能を向上させられるか？
• RQ4 異なる蒸留ネットワークアーキテクチャ（例：ConvNet と ResNet18）を用いることで、さまざまなIPCレベルでの蒸留品質にどのような影響を与えるか？
• RQ5 すべてのIPC値で、合成データ上で得られる性能がフル実データセット上で得られる性能と完全に一致する、真に損失なしの蒸留が達成可能か？

主な発見

• 従来の軌道マッチング手法は、高IPC環境で難易度の低いパターンしか学習しないため、合成データが平均に収束し、長尾分布の詳細を失う。
• 後期段階の軌道（難しいパターンが学習される段階）をマッチングすることで、高IPC環境下での性能が顕著に向上し、複雑でレアなデータパターンのカバーが可能になる。
• DATM は、CIFAR-10 においても、元のデータセットサイズの100%でも損失なしの性能を達成し、フル実データセットで訓練されたモデルのテスト精度と一致する。
• 低IPC（例：1%）環境でも、DATM は従来の最先端手法を上回り、MTT やその他の優れたアプローチと同等の高い精度を維持する。
• 高IPC環境では、ResNet18 を蒸留ネットワークとして用いることで、ConvNet と同等またはそれ以上の性能を発揮し、十分なデータが利用可能な場合に高容量ネットワークがより有効であることを確認する。
• 従来手法の性能はIPCが増加するにつれてランダム選択よりも低下する一方、DATM は効果的であり、一部のケースではフルデータセットをも上回る性能を示し、耐障害性とスケーラビリティを示している。

Figure 2: We train expert models on CIFAR-10 for 40 epochs. Then the distillation is performed under different IPC settings by matching either early trajectories $\{\theta^{*}_{t}|0\leq t\leq 20\}$ , late trajectories $\{\theta^{*}_{t}|20\leq t\leq 40\}$ , or all trajectories $\{\theta^{*}_{t}|0\leq