[논문 리뷰] DC-BENCH: Dataset Condensation Benchmark

Justin Cui, Ruochen Wang외 2명|ArXiv.org|2022. 07. 20.

Machine Learning and Data Classification인용 수 14

한 줄 요약

이 논문은 네 가지 핵심 평가 프로토콜을 통해 데이터셋 압축 방법을 평가하기 위한 표준화된 벤치마크인 DC-BENCH를 소개한다: 다양한 증강 기법 하에서의 성능, 다양한 아키텍처로의 이식 가능성, 다양한 압축 비율에서의 성능, 신경망 아키텍처 탐색(NAS)에서의 유용성. 이 벤치마크는 단일 모델 학습에서 성능이 뛰어난 방법들인 학습 경로 일치(TM) 및 차별적 스케일 증강(EDA)이 NAS나 더 깊은 모델로의 일반화에 실패하고, 높은 압축 비율에서 성능이 크게 떨어지며, 현재 방법들의 실세계 적용 가능성과 이식 가능성에 중대한 격차가 있음을 드러낸다.

ABSTRACT

Dataset Condensation is a newly emerging technique aiming at learning a tiny dataset that captures the rich information encoded in the original dataset. As the size of datasets contemporary machine learning models rely on becomes increasingly large, condensation methods become a prominent direction for accelerating network training and reducing data storage. Despite numerous methods have been proposed in this rapidly growing field, evaluating and comparing different condensation methods is non-trivial and still remains an open issue. The quality of condensed dataset are often shadowed by many critical contributing factors to the end performance, such as data augmentation and model architectures. The lack of a systematic way to evaluate and compare condensation methods not only hinders our understanding of existing techniques, but also discourages practical usage of the synthesized datasets. This work provides the first large-scale standardized benchmark on Dataset Condensation. It consists of a suite of evaluations to comprehensively reflect the generability and effectiveness of condensation methods through the lens of their generated dataset. Leveraging this benchmark, we conduct a large-scale study of current condensation methods, and report many insightful findings that open up new possibilities for future development. The benchmark library, including evaluators, baseline methods, and generated datasets, is open-sourced to facilitate future research and application.

연구 동기 및 목표

• 데이터셋 압축 방법에 대한 체계적이고 표준화된 평가 프로토콜의 부재로 인해 공정한 비교와 실용적 도입이 저해되는 문제를 해결하기 위해.
• 성능 평가에 혼란을 주는 핵심 요소들—예를 들어 데이터 증강, 모델 아키텍처, 압축 비율—을 규명하고, 압축 알고리즘의 진정한 효과성을 가려내기 위해.
• 단일 모델 학습을 넘어서 대규모 후행 작업, 특히 신경망 아키텍처 탐색(NAS)과 같은 실세계 유용성을 평가하기 위해.
• 합성 데이터 초기화 전략, 예를 들어 K-센터 선택을 사용하는 것과 같은 방법이 수렴 속도와 최종 성능에 미치는 영향을 탐색하기 위해.
• 재현 가능한 평가, 랭킹 리스트, 정제된 데이터셋을 포함한 포괄적인 오픈소스 벤치마크 라이브러리를 제공하여 향후 데이터셋 압축 분야의 연구를 가속화하기 위해.

제안 방법

• 네 가지 평가 프로토콜을 통해 다각도로 데이터 압축 방법을 평가하는 다면적 벤치마크를 설계: (1) 다양한 데이터 증강 기법 하에서의 성능, (2) 다양한 모델 아키텍처로의 이식 가능성, (3) 다양한 압축 비율에서의 성능, (4) NAS 작업에서의 성능.
• 외부 요인(예: 랜덤 시드, 학습 프로토콜)으로부터 압축 방법의 성능을 분리하는 표준화된 평가 파이프라인을 구현하여 공정한 비교를 보장한다.
• 최신 기술의 압축 방법(DC, DSA, DM, TM)과 기준 데이터 선택 방법(랜덤, K-센터)을 평가 세트에 포함시킨다.
• 합성 데이터에 K-센터 초기화 전략을 도입하여 랜덤 및 가우시안 초기화와 비교함으로써, 이 전략이 수렴 속도와 최종 정확도에 미치는 영향을 평가한다.
• 공개 랭킹 리스트를 운영하고, 평가자, 기준 구현체, 생성된 데이터셋을 포함한 전체 벤치마크 라이브러리를 오픈소스로 제공하며, GitHub 페이지(https://github.com/justincui03/dc_benchmark)에 배포한다.
• 다양한 학습 프로토콜과 현대적 NAS 벤치마크를 사용하여 CIFAR-10 및 CIFAR-100에서 대규모 실험 분석을 수행하여 일반화 및 확장성 수준을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋 압축 방법은 다양한 증강 전략 하에서 어떻게 성능을 내는가? 증강 기법이 상대 순위에 크게 영향을 미치는가?
• RQ2 압축된 데이터셋은 다양한 신경망 아키텍처로 얼마나 잘 일반화되는가? K-센터와 같은 단순한 데이터 선택 기반 기준과 비교했을 때 이식 가능성은 어떠한가?
• RQ3 압축 비율이 증가함에 따라 성능은 어떻게 저하되는가? 어느 정도의 압축 비율에서 압축 방법이 랜덤 선택과 구분되지 않는가?
• RQ4 압축된 데이터셋은 신경망 아키텍처 탐색(NAS)을 효과적으로 가속화할 수 있는가? 그리고 전체 데이터셋으로 학습한 모델의 진정한 성능 순위를 유지하는가?
• RQ5 K-센터와 같은 데이터 선택 방법을 사용해 합성 데이터를 초기화하면, 랜덤 또는 가우시안 초기화보다 수렴 속도와 최종 정확도가 향상되는가?

주요 결과

• 학습 경로 일치(TM)가 모든 평가 프로토콜에서 최고의 성능을 보이며, 그 다음으로 차별적 스케일 증강(EDA)이 뒤를 잇지만, TM은 대규모 데이터셋이나 높은 압축 비율에서는 확장성이 떨어진다.
• 평가 시 데이터 증강이 모든 압축 방법의 성능을 크게 향상시키며, 이는 증강 기법이 압축된 데이터셋 평가에 핵심 요소임을 시사한다.
• 압축 방법은 극도로 낮은 압축 비율에서 가장 효과적이다. CIFAR-10에서 클래스당 400장 이하일 경우 성능이 근본적으로 랜덤 기준 수준으로 저하된다.
• 단일 모델 학습에서 뛰어난 성능을 보였음에도 불구하고, 현재의 압축 방법들은 NAS 작업으로의 이식에 실패한다. 더 큰 규모의 NAS 벤치마크에서, K-센터를 제외한 모든 방법이 압축된 데이터셋과 전체 데이터셋에서의 성능 간에 음성 또는 근접한 0 상관관계를 보였다.
• 합성 데이터를 K-센터로 초기화하면 약 30%의 계산 예산을 절감하고 평균 1.3%의 정확도 향상을 이룰 수 있어, 초기화 전략이 수렴과 성능에 결정적인 영향을 미친다는 것을 입증한다.
• 벤치마크는 현재의 압축 방법들이 진정한 모델 성능 순위를 유지하지 못함을 드러냈다. 즉, 압축된 데이터셋에서 발견된 최고의 아키텍처가 전체 데이터셋에서 실제로는 성능이 열악한 경우가 많아, 모델 탐색에 있어 그들의 실용성에 근본적인 한계가 있음을 시사한다.