[논문 리뷰] Dataset Meta-Learning from Kernel Ridge-Regression

Timothy Nguyen, Zhourong Chen외 1명|arXiv (Cornell University)|2020. 10. 30.

Advanced Neural Network Applications참고 문헌 36인용 수 6

한 줄 요약

이 논문은 커널 리지 회귀(KRR) 근사치를 통해 압축되거나 손상되거나 정제된 데이터셋을 생성하는 메타학습 알고리즘인 커널 유도 지점(Kernel Inducing Points, KIP)을 소개한다. 이는 MNIST 및 CIFAR-10에서 최고 성능을 기록하며, 이미지 수를 최대 100배 줄여도 성능을 유지한다. KIP는 데이터셋을 한 개 또는 두 개의 주기수만큼 압축할 수 있으며, 이로 인해 이전의 자연 데이터셋보다도 우수한 이식성과 개인정보 보호 기능을 갖춘 데이터셋을 생성한다. 이는 비레이지 신경망 환경에서도 효과적이다.

ABSTRACT

One of the most fundamental aspects of any machine learning algorithm is the training data used by the algorithm. We introduce the novel concept of $ε$-approximation of datasets, obtaining datasets which are much smaller than or are significant corruptions of the original training data while maintaining similar model performance. We introduce a meta-learning algorithm called Kernel Inducing Points (KIP) for obtaining such remarkable datasets, inspired by the recent developments in the correspondence between infinitely-wide neural networks and kernel ridge-regression (KRR). For KRR tasks, we demonstrate that KIP can compress datasets by one or two orders of magnitude, significantly improving previous dataset distillation and subset selection methods while obtaining state of the art results for MNIST and CIFAR-10 classification. Furthermore, our KIP-learned datasets are transferable to the training of finite-width neural networks even beyond the lazy-training regime, which leads to state of the art results for neural network dataset distillation with potential applications to privacy-preservation.

연구 동기 및 목표

• 모델 대신 데이터셋을 최적화하여 기계학습의 확장성과 개인정보 보호 문제를 해결하고자 한다.
• 크기 감소나 손상에도 불구하고 높은 모델 성능을 유지하는 대체 데이터셋을 만드는 방법을 개발하고자 한다.
• 데이터셋 정제를 통해 메모리와 지연 시간을 줄여 효율적인 추론과 하이퍼파rameter 탐색을 가능하게 하고자 한다.
• 커널 및 신경망 학습에서 데이터셋 근사의 이론적·실용적 한계를 탐구하고자 한다.
• 이식 가능하고 개인정보 보호 기능이 강화된 데이터셋을 만들며, 이는 손상된 자연 데이터셋보다도 뛰어난 성능을 보여야 한다.

제안 방법

• 데이터셋의 ε-근사치 개념을 제안하여, 데이터셋 압축과 손상이 모두 모델 성능 유지와 동치임을 수학적으로 정의한다.
• 완전한 데이터셋의 커널 리지 회귀 해를 근사하기 위해 소수의 합성 데이터 포인트를 학습하는 메타학습 알고리즘인 커널 유도 지점(KIP)을 도입한다.
• 무한히 넓은 신경망과 KRR 간의 대응 관계를 활용하여, 데이터 생성을 위한 미분 가능한 최적화 목표를 유도한다.
• 특징과 레이블을 별도로 최적화할 수 있도록 허용하는, 레이블 해법(Label Solve, LS)이라는 변형을 적용한다.
• 학습 중에 이미지에 최대 90%의 노이즈 손상을 가하여 강건성과 개인정보 보호 기능 간의 트레이드오프를 평가한다.
• 두 단계 최적화를 적용한다: 먼저 KIP를 통해 특징을 학습하고, 이후 LS를 통해 레이블을 정밀 조정하며, 종단 간(end-to-end) 학습을 통해 공동 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 ε 오차 이내에서 전체 데이터셋의 일반화 성능을 근사하는 소규모 합성 데이터셋을 학습할 수 있는가?
• RQ2 KIP는 커널 리지 회귀 및 신경망 학습에서 데이터셋을 얼마나 효과적으로 압축할 수 있는가?
• RQ3 KIP가 생성한 데이터셋은 높은 수준의 픽셀 손상 조건에서도 얼마나 강건하게 유지되며, 높은 정확도를 유지할 수 있는가?
• RQ4 KIP가 생성한 데이터셋은 유한한 너비의 신경망에 이식되어, 레이지 학습 영역을 초월한 환경에서도 성능을 발휘할 수 있는가?
• RQ5 샘플 효율성과 성능 측면에서 기존의 데이터셋 정제 및 부분집합 선택 방법과 비교해 KIP는 얼마나 우수한가?

주요 결과

• KIP는 단지 1,000장의 이미지로 MNIST 및 CIFAR-10에서 최고 성능을 기록하며, 동일한 크기의 자연 데이터셋을 초월하고, 일부 경우에서는 더 큰 자연 데이터셋보다도 뛰어난 성능을 보였다.
• 90% 픽셀 손상이 가해진 1,000장의 KIP 생성 이미지를 사용해 MNIST에서 교차 엔트로피 손실 기준으로 90.9%의 테스트 정확도를 달성했으며, 이는 90% 손상된 1,000장의 자연 이미지(75.0% 정확도)를 뛰어넘었다.
• CIFAR-10에서는 90% 손상된 1,000장의 KIP 이미지로 45.0%의 테스트 정확도를 기록했으며, 이는 1,000장의 자연 이미지(35.4%)와 1,000장의 손상된 자연 이미지(27.2%)를 모두 초월했다.
• 10,000장의 KIP 이미지를 사용하면 MNIST에서 97.9%의 정확도, CIFAR-10에서는 54.0%의 정확도를 기록했으며, 동일한 크기의 자연 데이터셋을 모두 능가했다.
• KIP가 생성한 데이터셋은 유한한 너비의 신경망으로도 이식 가능하며, 비레이지 영역에서도 최고 성능을 기록하는 데이터셋 정제의 SOTA 결과를 달성했다.
• 이 방법은 강력한 개인정보 보호 기능을 제공한다: 90% 손상된 KIP 이미지가 높은 정확도를 유지함으로써, 개인정보 보호 목적의 데이터 배포에 유용할 것으로 보인다.