[논문 리뷰] Dataset Distillation with Convexified Implicit Gradients

Noel Loo, Ramin Hasani외 2명|arXiv (Cornell University)|2023. 02. 13.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 재구성된 볼록화된 암시적 기울기(implicit gradients)를 활용하여 최신 기술 수준(SOTA) 성능을 달성하는 새로운 데이터셋 정련 알고리즘 RCIG를 제안한다. 고정된 유한 폭의 신경 장력 커널(NTK)을 통해 내부 최적화를 볼록화하고 분석적 파arameterization을 통해 편향을 줄임으로써, 클래스당 하나의 이미지로 ImageNet에서 이전 SOTA 대비 108% 높은 정확도를 달성한다.

ABSTRACT

We propose a new dataset distillation algorithm using reparameterization and convexification of implicit gradients (RCIG), that substantially improves the state-of-the-art. To this end, we first formulate dataset distillation as a bi-level optimization problem. Then, we show how implicit gradients can be effectively used to compute meta-gradient updates. We further equip the algorithm with a convexified approximation that corresponds to learning on top of a frozen finite-width neural tangent kernel. Finally, we improve bias in implicit gradients by parameterizing the neural network to enable analytical computation of final-layer parameters given the body parameters. RCIG establishes the new state-of-the-art on a diverse series of dataset distillation tasks. Notably, with one image per class, on resized ImageNet, RCIG sees on average a 108\% improvement over the previous state-of-the-art distillation algorithm. Similarly, we observed a 66\% gain over SOTA on Tiny-ImageNet and 37\% on CIFAR-100.

연구 동기 및 목표

• 클래스당 최소한의 데이터로도 더 높은 성능을 달성하는 데 도전한다.
• 기존의 암시적 기울기 기반 방법의 한계를 극복한다. 특히 기울기 추정에서 비볼록성과 높은 편향 문제를 해결한다.
• ImageNet, Tiny-ImageNet, CIFAR-100 등 다양한 벤치마크에 걸쳐 일반화 가능한 확장성 있고 정확한 정련 알고리즘을 개발한다.
• 정련을 보안 수단으로 활용하여 소유자 정보 유추 공격에 대한 강건성을 향상시킨다.

제안 방법

• 모델 가중치를 내부 파라미터로, 정련된 데이터를 외부 파라미터로 설정하여 데이터셋 정련을 이중 최적화 문제로 공식화한다.
• 암시 함수 정리를 적용하여 내부 최적화 루프를 통해 역전파를 통해 메타 기울기를 계산한다.
• 내부 최적화를 볼록화하기 위해 고정된 유한 폭의 신경 장력 커널(NTK)을 사용하여 근사함으로써, 비볼록 문제를 볼록 문제로 변환한다.
• 신경망을 재구성하여 본문 파라미터에서 최종 레이어 파라미터를 분석적으로 계산할 수 있도록 하여, 암시적 기울기 추정의 편향을 감소시킨다.
• 안정성과 수렴성을 향상시키기 위해 암시적 기울기와 선형화된 학습을 조합한 하이브리드 접근법을 통해 정련된 데이터를 최적화한다.
• 학습 중 역전파의 부분 샘플링을 통해 효율적으로 확장 가능하게 하여, 대규모 데이터셋에서도 메모리 사용량을 낮게 유지한다.

실험 결과

연구 질문

• RQ1 고정된 NTK를 사용해 내부 최적화 문제를 볼凸화함으로써, 암시적 기울기 기반 데이터셋 정련의 성능 향상이 가능할까?
• RQ2 신경망 아키텍처의 재구성은 암시적 기울기 계산에서 편향을 어떻게 줄이는가?
• RQ3 다양한 데이터 복잡도와 클래스 수를 가진 다양한 벤치마크에서 RCIG는 기존 SOTA 방법보다 얼마나 뛰어나게 성능을 냈는가?
• RQ4 RCIG를 통한 데이터셋 정련은 소유자 정보 유추 공격에 효과적인 방어 수단이 될 수 있는가?
• RQ5 내부 스텝 수, 헤시안 역행렬 스텝 수 등과 같은 하이퍼파라미터 설정(예: inner steps, Hessian inverse steps)이 다양한 데이터셋에서 최적의 성능을 내기 위해 어떻게 설정되어야 하는가?

주요 결과

• 클래스당 하나의 이미지로 ImageNet에서 이전 SOTA 대비 108% 정확도 향상을 달성하여, 상위-1 정확도 15.6%를 기록한다.
• Tiny-ImageNet에서는 이전 SOTA 대비 66% 향상된 성능을 기록하여, 더 작은 복잡도가 높은 데이터셋에서도 강력한 일반화 능력을 입증한다.
• CIFAR-100에서는 이전 SOTA 대비 37% 향상된 성능을 기록하여, 다양한 벤치마크에서의 효과성을 확인한다.
• 모델이 정련된 데이터로 학습된 경우, 다양한 공격 유형에서 AUC가 낮게 유지되어(예: 0.53), 강력한 프라이버시 보호 성능을 보인다.
• 제거 실험 결과, 암시적 기울기와 헤시안 역행렬 스텝 수(nH−1 > 0)를 모두 사용할 경우 정확도가 크게 향상되며, 최적의 성능는 ninner = 20 및 nH−1 = 20에서 달성된다.
• 학습 중 부분 샘플링된 역전파 덕분에, 대규모 데이터셋에 대해서도 메모리 사용량을 늘리지 않고 효율적으로 확장 가능하다.