[논문 리뷰] CAFE: Learning to Condense Dataset by Aligning Features

Kai Wang, Bo Zhao외 8명|arXiv (Cornell University)|2022. 03. 03.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

CAFE는 다중 네트워크 레이어를 통해 실재 데이터와 합성 데이터 간의 특징 분포를 정렬하고, 구분 손실과 동적 이중 최적화를 통합함으로써 일반화 성능을 향상시키는 새로운 데이터 압축 방법을 제안한다. 이는 SVHN에서 이전 방법들보다 최대 11% 향상된 최고 성능을 기록하며, ResNet18 및 MLP와 같은 다양한 아키텍처에서 강력한 일반화 성능을 보인다.

ABSTRACT

Dataset condensation aims at reducing the network training effort through condensing a cumbersome training set into a compact synthetic one. State-of-the-art approaches largely rely on learning the synthetic data by matching the gradients between the real and synthetic data batches. Despite the intuitive motivation and promising results, such gradient-based methods, by nature, easily overfit to a biased set of samples that produce dominant gradients, and thus lack global supervision of data distribution. In this paper, we propose a novel scheme to Condense dataset by Aligning FEatures (CAFE), which explicitly attempts to preserve the real-feature distribution as well as the discriminant power of the resulting synthetic set, lending itself to strong generalization capability to various architectures. At the heart of our approach is an effective strategy to align features from the real and synthetic data across various scales, while accounting for the classification of real samples. Our scheme is further backed up by a novel dynamic bi-level optimization, which adaptively adjusts parameter updates to prevent over-/under-fitting. We validate the proposed CAFE across various datasets, and demonstrate that it generally outperforms the state of the art: on the SVHN dataset, for example, the performance gain is up to 11%. Extensive experiments and analyses verify the effectiveness and necessity of proposed designs.

연구 동기 및 목표

• 기울기 기반 데이터 압축 방법이 어려운 또는 노이즈가 많은 샘플에 과적합되는 일반화 한계를 해결하기 위해.
• 실제 데이터셋의 전체 데이터 분포와 분류 구조를 합성 학습 세트에 유지하기 위해.
• 분포 수준의 감독을 통해 합성 데이터의 일반화 능력을 향상시켜 미리보지 않은 신경망 아키텍처로의 일반화를 향상시키기 위해.
• 동적 이중 최적화 프레임워크를 통해 합성 데이터 최적화 중 과적합과 과소적합을 완화하기 위해.

제안 방법

• CAFE는 신경망의 다수의 중간 레이어를 통해 실재 데이터와 합성 데이터 간의 특징 분포를 일치시키기 위해 레이어별 특징 정렬(LFA) 모듈을 사용한다.
• 실재 샘플을 합성 클러스터에 대한 유사도 기반으로 분류하는 구분 손실을 도입하여 합성 세트에 분류 능력을 통합한다.
• 네트워크 및 합성 데이터 업데이트에 대한 SGD 스텝 수를 적응적으로 조정하는 동적 이중 최적화 프레임워크를 통해 과적합과 과소적합을 방지한다.
• 분포 정렬과 분류 성능를 균형 잡는 비계층적 목표를 사용하여 합성 데이터와 모델 파라미터를 동시에 최적화한다.
• 특징 분포 정렬과 분류 기반 구분을 결합한 손실 함수를 사용하여 종단 간(end-to-end)으로 프레임워크를 훈련한다.
• 초기화는 무작위 노이즈에서 시작되며, 합성 데이터와 모델 가중치 양쪽에 대해 기울기 하강법을 조율하여 최적화가 진행된다.

실험 결과

연구 질문

• RQ1 다중 레이어에 걸쳐 특징 분포 정렬이 기울기 기반 방법을 초월해 합성 데이터셋의 일반화 성능을 향상시킬 수 있는가?
• RQ2 다양한 척도에서 특징을 정렬할 경우 압축된 데이터의 품질과 대표성은 어떻게 영향을 받는가?
• RQ3 구분 손실을 통합할 경우 합성 데이터의 분류 능력은 어느 정도 향상되는가?
• RQ4 동적 이중 최적화 전략이 데이터 압축 과정에서 과적합과 과소적합을 효과적으로 방지할 수 있는가?
• RQ5 CAFE가 생성한 합성 데이터셋은 미리보지 않은 신경망 아키텍처로 얼마나 잘 일반화되는가?

주요 결과

• SVHN 데이터셋에서 CAFE는 최신 기술 대비 최대 11%의 성능 향상을 기록했다.
• CIFAR-10에서 CAFE는 AlexNet, VGG11, ResNet18, 3층 MLP에서 각각 기존 최고 성능 기법(DC)보다 5.25%, 1.79%, 4.42%, 7.96% 향상된 성능을 기록했다.
• 시각화 결과에 따르면 CAFE가 생성한 합성 이미지는 DC의 결과보다 더 의미적으로 정확하고 실제 이미지와 유사한 품질을 보였다.
• t-SNE 시각화 결과는 CAFE가 실제 데이터의 전체 분포를 더 잘 포착하는 반면, DC의 합성 특징는 결정 경계 근처에 뭉쳐 있는 것으로 확인되었다.
• CAFE의 동적 이중 최적화는 학습 스텝을 효과적으로 균형 잡아 고정 스텝 기반 기준 대비 과적합과 과소적합을 줄였다.
• 특히 더 깊고 다른 아키텍처에서 CAFE는 기울기 기반 방법보다 유의미하게 더 뛰어난 일반화 성능를 보이며 아키텍처 이동에 대한 강건성을 입증했다.