[논문 리뷰] Dataset Distillation via Factorization

Songhua Liu, Kai Wang외 3명|arXiv (Cornell University)|2022. 10. 30.

Image Processing Techniques and Applications인용 수 59

한 줄 요약

HaBa는 데이터셋 증류를 위한 hallucinator-기반 인자화로 표현력이 풍부한 합성 데이터를 더 적은 파라미터로 가능하게 하고, 교차 아키텍처 이득을 포함한 다운스트림 성능을 향상시킵니다. 또한 다양성과 정보성을 높이기 위해 적대적 대조 제약을 추가하고, 기존 DD 벤치마크와 플러그-앤-플레이로 호환됩니다.

ABSTRACT

In this paper, we study \xw{dataset distillation (DD)}, from a novel perspective and introduce a \emph{dataset factorization} approach, termed \emph{HaBa}, which is a plug-and-play strategy portable to any existing DD baseline. Unlike conventional DD approaches that aim to produce distilled and representative samples, \emph{HaBa} explores decomposing a dataset into two components: data \emph{Ha}llucination networks and \emph{Ba}ses, where the latter is fed into the former to reconstruct image samples. The flexible combinations between bases and hallucination networks, therefore, equip the distilled data with exponential informativeness gain, which largely increase the representation capability of distilled datasets. To furthermore increase the data efficiency of compression results, we further introduce a pair of adversarial contrastive constraints on the resultant hallucination networks and bases, which increase the diversity of generated images and inject more discriminant information into the factorization. Extensive comparisons and experiments demonstrate that our method can yield significant improvement on downstream classification tasks compared with previous state of the arts, while reducing the total number of compressed parameters by up to 65\%. Moreover, distilled datasets by our approach also achieve extasciitilde10\% higher accuracy than baseline methods in cross-architecture generalization. Our code is available \href{https://github.com/Huage001/DatasetFactorization}{here}.

연구 동기 및 목표

• 데이터/저장 효율성의 필요성과 문제 제기를 통한 데이터셋 증류(DD) 연구 목표 제시.
• 합성 데이터를 기저( bases )와 hallucinators 로 분해하여 정보량을 증가시킴으로써 표현력 강화.
• 생성 데이터의 다양성과 정보성을 높이기 위한 적대적 대조 제약 도입.
• 기존 DD 벤치마크와의 플러그-앤-플레이 호환성 확보 및 성능 향상 시연.

제안 방법

• 합성 데이터를 일련의 기저 B와 hallucinators H의 집합으로 분해하여 S = {H_theta_j} ∪ {(x_hat_i, y_hat_i)}로 표현한다.
• 각 hallucinator는 기저를 입력으로 받아 인코더-트랜스포머-디코더 파이프라인을 통해 어파인 스케일링 및 시프팅으로 환상 이미지를 출력한다.
• 다양성과 중복 감소를 극대화하기 위해 적대적 대조 손실 L_cos와 (선택적으로 지도 학습 가능한) 대조 손실 L_con을 도입한다.
• 작업 손실 L_task와 DD 목표 L_DD를 포함하고, 상호 배치된 엔드-투-엔드 미분 가능 파이프라인에서 학습한다. HaBa는 기존 DD 목표와 플러그인으로 호환된다.
• 선택적으로 동시 효율적 데이터 매개변수화(IDC)와 결합하고 교차 아키텍처 일반화를 평가한다.

실험 결과

연구 질문

• RQ1 HaBa가 동일한 저장 예산에서 최첨단 DD 벤치마크 대비 다운스트림 모델 성능을 향상시킬 수 있는가?
• RQ2 기저와 hallucinators로 분해하는 것이 저장 공간을 늘리지 않으면서 데이터 다양성과 정보량을 증가시키는가?
• RQ3 HaBa가 교차 아키텍처 일반화(한 아키텍처에서 학습하고 다른 아키텍처에서 평가하는 경우)에 어떤 영향을 미치는가?
• RQ4 적대적 대조 제약이 성능과 다양성에 어떤 영향을 미치는가?

주요 결과

• HaBa는 SVHN, CIFAR10, CIFAR100 벤치마크에서 이전 DD 방법들에 비해 상당한 개선을 보인다.
• 동일한 저장 예산 하에서 HaBa는 압축 파라미터 총수를 최대 65%까지 줄일 수 있다.
• HaBa는 교차 아키텍처 일반화 시나리오에서 기초 방법 대비 약 10% 더 높은 정확도를 달성한다.
• 기저는 핵심 구조를 저장하고 hallucinators는 다양한 스타일을 생성하여 추가 저장 없이 데이터 다양성을 증가시킨다.
• HaBa는 다수의 DD 벤치마크(DC, DM, MTT) 위에 구축될 때 일관된 이득을 보이고 다양한 네트워크(ConvNet, ResNet, VGG, AlexNet)와의 교차 아키텍처 이득을 지원한다.
• 정성적 시각화는 서로 다른 hallucinator가 공유된 기저로부터 다양한 이미지를 생성해 데이터셋의 정보도를 향상시킨다는 것을 보여준다.