[논문 리뷰] Squeeze, Recover and Relabel: Dataset Condensation at ImageNet Scale From A New Perspective

Zeyuan Yin, Eric P. Xing외 1명|arXiv (Cornell University)|2023. 06. 22.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 대규모 데이터셋 압축을 위한 새로운 삼단계 프레임워크인 SRe2L을 제안한다. 이 프레임워크는 모델 훈련과 합성 데이터 최적화를 분리함으로써 효율적이고 고해상도의 ImageNet-1K 압축을 가능하게 한다. Squeeze, Recover, Relabel 단계를 통해 배치 정규화 통계 일치 및 영역 수준 레이블 재할당을 활용함으로써, 클래스당 50장의 이미지로 ImageNet-1K에서 60.8%의 검증 정확도를 달성하며, 이는 이전 방법보다 32.9% 높고 훈련 시간은 최대 52배 빠르게 한다.

ABSTRACT

We present a new dataset condensation framework termed Squeeze, Recover and Relabel (SRe$^2$L) that decouples the bilevel optimization of model and synthetic data during training, to handle varying scales of datasets, model architectures and image resolutions for efficient dataset condensation. The proposed method demonstrates flexibility across diverse dataset scales and exhibits multiple advantages in terms of arbitrary resolutions of synthesized images, low training cost and memory consumption with high-resolution synthesis, and the ability to scale up to arbitrary evaluation network architectures. Extensive experiments are conducted on Tiny-ImageNet and full ImageNet-1K datasets. Under 50 IPC, our approach achieves the highest 42.5% and 60.8% validation accuracy on Tiny-ImageNet and ImageNet-1K, outperforming all previous state-of-the-art methods by margins of 14.5% and 32.9%, respectively. Our approach also surpasses MTT in terms of speed by approximately 52$ imes$ (ConvNet-4) and 16$ imes$ (ResNet-18) faster with less memory consumption of 11.6$ imes$ and 6.4$ imes$ during data synthesis. Our code and condensed datasets of 50, 200 IPC with 4K recovery budget are available at https://github.com/VILA-Lab/SRe2L.

연구 동기 및 목표

• 대규모 데이터셋 압축, 특히 전체 ImageNet 해상도에서 기존 이중 최적화 방법의 계산 비용이 지나치게 높은 문제를 해결하기 위해.
• 모델과 합성 데이터 훈련의 공동 최적화를 분리하여 메모리 및 계산 비용을 줄이면서도 높은 성능을 유지하기 위해.
• 다양한 모델 아키텍처와 데이터셋 규모, 특히 전체 ImageNet-1K를 포함한 확장 가능한 고해상도 데이터셋 압축을 가능하게 하기 위해.
• 기존 방법에 비해 더 높은 품질과 의미적 정확성을 갖춘 압축된 이미지를 생성하기 위해, 특히 구조적 및 클래스별 세부 정보를 잘 유지하기 위해.
• 연속 학습 및 사전 훈련된 모델과의 통합을 통해 실용적 적용 가능성을 입증하기 위해.

제안 방법

• 이 방법은 삼단계 파라다임을 도입한다: Squeeze(실제 데이터로 모델을 사전 훈련하여 전반적 통계를 캡처), Recover(배치 정규화 통계 일치를 통해 노이즈에서 합성 이미지를 생성), Relabel(자르기 영역에서의 모델 예측을 통해 정확한 클래스 레이블 할당).
• 실제 데이터 입력과 합성 데이터 생성을 분리함으로써 이중 최적화를 분리함으로써, 훈련 중에 동시에 실재 및 합성 데이터를 처리할 필요 없이도 된다.
• Recover 단계는 실제 데이터의 전반적 배치 정규화 통계를 합성 데이터에 일치시켜, 개별 배치 기반 특성 일치보다 더 강력하고 포괄적인 분포 일치를 가능하게 한다.
• Relabel 단계는 자르기 영역 수준의 추론 전략을 사용하여 합성 이미지에 정확한 레이블을 할당함으로써, 레이블 일관성과 의미 정확도를 향상시킨다.
• 모든 사전 훈련된 모델(배치 정규화 레이어 포함)과 호환되어 즉시 통합이 가능하며, 훈련 오버헤드를 줄인다.
• 이 방법은 이중 최적화에서 전개 반복을 피함으로써 메모리 및 계산 비용을 크게 줄이며, 임의의 입력 해상도와 모델 아키텍처를 지원한다.

Figure 1 : Left is data synthesis time vs. accuracy on ImageNet-1K with 10 IPC (Images Per Class). Models include ConvNet-4, ResNet-{18, 50, 101}. † indicates ViT with 10M parameters [ 2 ] . Right is the comparison of widely-used bilevel optimization and our proposed decoupled training scheme.

실험 결과

연구 질문

• RQ1 성능을 저하시키지 않고도, 이중 최적화를 대체할 수 있는 분리된 훈련 전략이 대규모 데이터셋 압축에 효과적으로 적용될 수 있는가?
• RQ2 전체 데이터셋에 걸쳐 배치 정규화 통계 일치가 개별 배치 기반 특성 일치보다 합성 데이터 생성에서 더 나은 일치를 제공할 수 있는가?
• RQ3 제안된 방법이 최소한의 계산 비용으로 스케일링 가능한 고해상도 이미지 합성(예: ImageNet-1K)을 달성할 수 있는가?
• RQ4 기존의 압축 방법과 비교했을 때, SRe2L 프레임워크는 연속 학습과 같은 후행 작업에서 어떻게 성능을 발휘하는가?
• RQ5 이 방법이 다양한 모델 아키텍처와 이미지 해상도에 걸쳐 얼마나 일반화 가능한가?

주요 결과

• SRe2L는 클래스당 50장의 이미지로 ImageNet-1K에서 60.8%의 검증 정확도를 달성하며, 이는 이전 SOTA보다 32.9% 높다.
• Tiny-ImageNet에서 이 방법은 50 IPC에서 42.5%의 정확도를 기록하며, 이는 이전 방법보다 14.5% 높다.
• MTT(ConvNet-4)보다 52배 빠르고, MTT(ResNet-18)보다 16배 빠르며, 각각 11.6배와 6.4배의 낮은 메모리 소비를 기록한다.
• SRe2L에서 생성된 합성 이미지는 MTT의 흐릿하고 색상이 지배적인 출력에 비해 더 뚜렷한 의미적 정보와 윤곽선을 보인다.
• Tiny-ImageNet에서의 클래스 증분 학습에서, SRe2L는 증가하는 메모리 예산 하에 5단계 및 10단계 설정 모두에서 베이스라인보다 일관되게 뛰어난 성능을 보였다.
• 이 프레임워크는 배치 정규화 레이어를 포함한 상용 사전 훈련된 모델을 직접 사용할 수 있게 하여 훈련 오버헤드를 줄이고 실용적 구현을 향상시켰다.

Figure 2 : Overview of our framework. It consists of three stages: in the first stage, a model is trained from scratch to accommodate most of the crucial information from the original dataset. In the second stage, a recovery process is performed to synthesize the target data from the Gaussian noise.