[논문 리뷰] Dataset Condensation with Latent Space Knowledge Factorization and Sharing

Haebeom Lee, Dong Bok Lee외 1명|arXiv (Cornell University)|2022. 08. 21.

Algorithms and Data Compression인용 수 9

한 줄 요약

이 논문은 지식 인과분해 및 공유(Knowledge Factorization and Sharing, KFS)를 제안하며, 합성 데이터 생성을 학습 가능한 잠재 코드와 공유 가능한 경량 디코더로 분해함으로써, 최소한의 파라미터 오버헤드로 훨씬 더 많은 합성 예제를 생성할 수 있도록 하는 새로운 데이터셋 압축 방법이다. KFS는 SVHN, CIFAR10, CIFAR100, TinyImageNet에서 상태최저 성능을 달성하며, 특히 낮은 파라미터 예산 하에서 분리된 잠재 공간과 디코더 구성 요소를 통해 예제 간 지식을 체계적으로 공유함으로써 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we introduce a novel approach for systematically solving dataset condensation problem in an efficient manner by exploiting the regularity in a given dataset. Instead of condensing the dataset directly in the original input space, we assume a generative process of the dataset with a set of learnable codes defined in a compact latent space followed by a set of tiny decoders which maps them differently to the original input space. By combining different codes and decoders interchangeably, we can dramatically increase the number of synthetic examples with essentially the same parameter count, because the latent space is much lower dimensional and since we can assume as many decoders as necessary to capture different styles represented in the dataset with negligible cost. Such knowledge factorization allows efficient sharing of information between synthetic examples in a systematic way, providing far better trade-off between compression ratio and quality of the generated examples. We experimentally show that our method achieves new state-of-the-art records by significant margins on various benchmark datasets such as SVHN, CIFAR10, CIFAR100, and TinyImageNet.

연구 동기 및 목표

• 기존 데이터셋 압축 방법이 입력 공간에서 합성 예제를 직접 최적화함으로써 파라미터 대 예제 비율이 열악하고 지식 공유가 제한되는 데 기인한 비효율성을 해결하기 위해.
• 데이터 내부의 기본적인 규칙성을 활용하기 위해, 합성 예제를 압축된 잠재 공간과 공유 가능한 디코더에서 생성되는 생성 과정으로 모델링하기 위해.
• 공유된 잠재 코드와 디코더를 통해 합성 예제 간 효율적인 지식 공유를 가능하게 하여, 압축 비율과 합성 데이터 품질 간의 트레이드오프를 향상시키기 위해.
• 특히 낮은 파라미터 예산 하에서 서브샘플링으로 인한 기울기의 높은 분산과 편향 문제를 겪는 기존 방법의 한계를 극복하기 위해.
• 다양한 신경망 아키텍처와 학습 예산에서 합성 데이터의 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 합성 데이터 생성을 두 부분으로 나누어 모델링한다: 저차원 공간 내의 학습 가능한 잠재 코드와, 이 코드들을 입력 공간으로 매핑하는 소형 공유 디코더 집합.
• 다양한 잠재 코드와 디코더 조합이 수많은 다양한 합성 예제를 생성하며, 파라미터 수를 늘리지 않으면서도 효과적인 예제 수를 크게 증가시킨다.
• 지식은 체계적으로 공유된다: 동일한 디코더 집합이 어떤 잠재 코드에도 적용될 수 있어, 예제 간 효율적인 정보 전달이 가능하다.
• 학습을 위해 분포 매칭을 사용하여 고비용의 2차 기울기 계산을 피하고, 중간 특징을 사전 계산하고 재사용함으로써 학습 효율성을 향상시킨다.
• 실제 및 합성 데이터셋에 대해 전체 배치 학습을 사용함으로써 서브샘플링으로 인한 편향된 기울기를 방지하여 더 뛰어난 다양성과 품질을 확보한다.
• 모든 파라미터가 함께 최적화되는 엔드 투 엔드 학습이 가능하며, 실존 데이터와 합성 데이터 간의 분포 차이를 최소화하기 위해 잠재 코드와 디코더를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 잠재 공간의 인과분해를 통해 데이터 생성 과정을 명시적으로 모델링하면 데이터셋 압축의 효율성이 향상될 수 있는가?
• RQ2 공유된 디코더와 공유된 잠재 공간을 통해 합성 예제 간 지식을 공유하면, 직접 입력 공간 최적화보다 더 나은 압축-품질 트레이드오프를 달성할 수 있는가?
• RQ3 매개변수 예산이 매우 낮은 경우(예: 클래스당 1장의 이미지) 기존 최상위 성능 기준과 비교해 본 방법은 어떻게 성능을 내는가?
• RQ4 제안된 방법에서 생성된 합성 예제는 다양한 신경망 아키텍처에 대해 얼마나 일반화 가능한가?
• RQ5 평가 시점에서 다양한 학습 예산에서 성능이 유지되는가? 과적합 현상이 발생하지는 않는가?

주요 결과

• KFS는 SVHN, CIFAR10, CIFAR100, TinyImageNet에서 새로운 최상위 성능을 달성하였으며, 클래스당 1장의 이미지만을 사용할 경우 이전 최상위 성능(SOTA, IDC)보다 각각 14.8%와 9.8% 높은 정확도를 기록하였다.
• 클래스당 1장의 이미지만을 사용할 경우, 동일한 파라미터 수로도 KFS는 기존 기준보다 훨씬 더 다양한 예제를 생성할 수 있었으며, 이는 인과분해 및 공유 구조 덕분이었다.
• KFS는 뛰어난 아키텍처 간 일반화 성능를 보였다: 클래스당 1장의 이미지를 사용할 경우, SVHN에서 ResNet-10 기준 7.2% 감소, DenseNet-121 기준 1.9% 감소를 기록했으며, IDC는 각각 28.5%와 28.2% 감소를 기록했다.
• KFS는 100에서 20,000 스텝까지 다양한 학습 예산에서 강력한 성능을 유지하며 과적합 현상이 발생하지 않았다. 반면 기존 기준은 과적합 문제를 겪었다.
• 정성적 분석을 통해 잠재 코드의 변화는 다중모달리티(예: SVHN에서의 다양한 숫자 스타일)를 포착하는 데 성공했고, 디코더의 변화는 배경 및 스타일을 변화시키며 효과적인 지식 공유를 입증했다.
• 분포 매칭과 사전 계산된 특징을 활용함으로써 높은 학습 효율성을 달성하였으며, 기울기 매칭의 계산 비용을 피할 수 있었다.