[논문 리뷰] Towards Lossless Dataset Distillation via Difficulty-Aligned Trajectory Matching

Ziyao Guo, Kai Wang외 4명|arXiv (Cornell University)|2023. 10. 09.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

이 논문은 합성 데이터셋 크기에 따라 합성 데이터 패턴의 곤도를 동적으로 조정하는 새로운 데이터셋 정제 방법인 난이도 보정 궤적 매칭(DATM)을 제안한다. 저자/중기 단계에서의 훈련 궤적을 각각 저-IPC와 고-IPC 설정에 맞게 매칭함으로써, DATM는 CIFAR-10에서 심지어 전체 데이터셋 크기일 때도 손실 없는 성능을 달성하며, 기존 궤적 매칭 방법들이 IPC가 증가함에 따라 성능이 급격히 떨어지는 문제를 해결한다.

ABSTRACT

The ultimate goal of Dataset Distillation is to synthesize a small synthetic dataset such that a model trained on this synthetic set will perform equally well as a model trained on the full, real dataset. Until now, no method of Dataset Distillation has reached this completely lossless goal, in part due to the fact that previous methods only remain effective when the total number of synthetic samples is extremely small. Since only so much information can be contained in such a small number of samples, it seems that to achieve truly loss dataset distillation, we must develop a distillation method that remains effective as the size of the synthetic dataset grows. In this work, we present such an algorithm and elucidate why existing methods fail to generate larger, high-quality synthetic sets. Current state-of-the-art methods rely on trajectory-matching, or optimizing the synthetic data to induce similar long-term training dynamics as the real data. We empirically find that the training stage of the trajectories we choose to match (i.e., early or late) greatly affects the effectiveness of the distilled dataset. Specifically, early trajectories (where the teacher network learns easy patterns) work well for a low-cardinality synthetic set since there are fewer examples wherein to distribute the necessary information. Conversely, late trajectories (where the teacher network learns hard patterns) provide better signals for larger synthetic sets since there are now enough samples to represent the necessary complex patterns. Based on our findings, we propose to align the difficulty of the generated patterns with the size of the synthetic dataset. In doing so, we successfully scale trajectory matching-based methods to larger synthetic datasets, achieving lossless dataset distillation for the very first time. Code and distilled datasets are available at https://gzyaftermath.github.io/DATM.

연구 동기 및 목표

• 합성 데이터셋 크기가 증가함에 따라 성능이 저하되는 기존 데이터셋 정제 방법의 한계를 해결한다.
• 궤적 매칭 기반 방법이 고-이미지-퍼-클래스( IPC) 설정에서 실패하는 이유를 규명한다.
• 정제 과정 중에 학습되는 패턴의 난이도(간단 vs. 어려움)가 합성 데이터셋 크기와 일치시켜야 한다는 점을 규명한다.
• 저-IPC와 고-IPC 모두에서 높은 성능을 유지하고 손실 없는 정제를 달성하는 방법을 개발한다.
• 궤적 매칭의 훈련 단계 선택(초기 vs. 후기)이 IPC에 따라 정제 품질에 결정적인 영향을 미친다는 점을 입증한다.

제안 방법

• 목표 IPC에 따라 초기 또는 후기 단계를 선택하는 교사 네트워크의 특정 훈련 단계를 기반으로, 난이도 보정 궤적 매칭(DATM)을 제안한다.
• 실제 데이터에서의 학생 모델 훈련 동역학이 합성 데이터에서의 동역학과 일치하도록, 궤적 매칭을 통해 합성 데이터를 최적화한다.
• 초기 단계(간단한 패턴) 또는 후기 단계(어려운 패턴)의 궤적을 매칭함으로써 생성된 패턴의 난이도를 제어한다.
• 목표 IPC에 따라 동적으로 초기 또는 후기 궤적 매칭을 전환한다: 저-IPC에는 초기 단계, 고-IPC에는 후기 단계를 사용한다.
• 고-IPC 환경에서는 장미니어티 및 복잡한 데이터 분포를 커버하기 위해 어려운 패턴이 필수적이라는 통찰을 활용한다.
• 깊이가 깊고 용량이 큰 네트워크(예: ResNet18)를 정제 네트워크로 사용할 경우, IPC가 증가함에 따라 성능 향상이 두드러지며, 저-IPC 환경과는 다름을 검증한다.

Figure 1: (a) Illustration of the objective of dataset distillation. (b) The optimization in dataset distillation can be viewed as the process of generating informative patterns on the synthetic dataset. (c) We align the difficulty of the synthetic patterns with the size of the distilled dataset, to

실험 결과

연구 질문

• RQ1 기존 궤적 매칭 기반 데이터셋 정제 방법이 더 큰 합성 데이터셋으로 확장될 수 없는 이유는 무엇인가?
• RQ2 정제 과정 중에 학습되는 패턴의 난이도(간단 vs. 어려움)는 합성 데이터셋 크기와 어떻게 관련이 있는가?
• RQ3 합성 데이터셋 크기에 따라 합성 패턴의 난이도를 일치시키면 모든 IPC 환경에서 정제 성능 향상이 가능할까?
• RQ4 다른 정제 네트워크 아키텍처(예: ConvNet 대비 ResNet18)를 사용할 경우, 다양한 IPC 수준에서 정제 품질에 어떤 영향을 미치는가?
• RQ5 모든 IPC 값에서 진정으로 손실 없는 정제—즉, 합성 데이터에서의 성능가 실존 데이터셋 전체에서의 성능와 동일한 수준—를 달성할 수 있는가?

주요 결과

• 이전 궤적 매칭 방법들은 고-IPC에서 실패하는데, 그 이유는 기본적으로 간단한 패턴만 학습하기 때문이며, 이는 합성 데이터가 평균으로 수렴하고 장미니어티 분포 세부 정보를 상실하게 만든다.
• 후기 단계 궤적 매칭(어려운 패턴이 학습되는 단계)을 사용할 경우 고-IPC 설정에서 성능 향상이著명하며, 복잡하고 희귀한 데이터 패턴을 효과적으로 커버할 수 있다.
• DATM는 CIFAR-10에서 심지어 원본 데이터셋 크기의 100%일 때도 손실 없는 성능을 달성하여, 전체 실존 데이터셋에서 훈련된 모델의 테스트 정확도를 그대로 재현한다.
• 저-IPC(예: 1%) 환경에서도 DATM는 이전 최고 성능 방법을 능가하며, MTT 및 기타 선도적 접근과 유사한 높은 정확도를 유지한다.
• ResNet18을 정제 네트워크로 사용할 경우, 고-IPC 환경에서 ConvNet보다 동등하거나 더 우수한 성능을 보이며, 충분한 데이터가 제공될 경우 높은 용량 네트워크가 더 효과적이라는 점을 확인한다.
• 기존 방법의 성능는 IPC가 증가함에 따라 무작위 선택보다도 떨어지지만, DATM는 효과적으로 유지되며 일부 경우에서는 전체 데이터셋 성능을 초월하기까지 한다. 이는 강건성과 확장성의 증거이다.

Figure 2: We train expert models on CIFAR-10 for 40 epochs. Then the distillation is performed under different IPC settings by matching either early trajectories $\{\theta^{*}_{t}|0\leq t\leq 20\}$ , late trajectories $\{\theta^{*}_{t}|20\leq t\leq 40\}$ , or all trajectories $\{\theta^{*}_{t}|0\leq