[논문 리뷰] Flexible Dataset Distillation: Learn Labels Instead of Images

Ondrej Bohdal, Yongxin Yang외 1명|arXiv (Cornell University)|2020. 06. 15.

Advanced Neural Network Applications참고 문헌 38인용 수 18

한 줄 요약

이 논문은 기존의 합성 이미지를 생성하는 대신 실제 이미지에 대해 합성 레이블을 생성하는 새로운 데이터셋 정련 방법인 레이블 정련(label distillation)을 제안한다. 이는 더 유연하고 이식 가능하며 성능이 뛰어난 정련된 데이터셋을 가능하게 한다. 일阶, 볼록 최적화 기반의 메타학습 접근법을 사용함으로써, 이 방법은 더 나은 성능과 표준 최적화기 및 다양한 아키텍처와의 호환성을 달성하며, 영어 문자에서 일본어 문자를 인식하는 것과 같은 교차 데이터셋 학습도 가능하게 한다.

ABSTRACT

We study the problem of dataset distillation - creating a small set of synthetic examples capable of training a good model. In particular, we study the problem of label distillation - creating synthetic labels for a small set of real images, and show it to be more effective than the prior image-based approach to dataset distillation. Methodologically, we introduce a more robust and flexible meta-learning algorithm for distillation, as well as an effective first-order strategy based on convex optimization layers. Distilling labels with our new algorithm leads to improved results over prior image-based distillation. More importantly, it leads to clear improvements in flexibility of the distilled dataset in terms of compatibility with off-the-shelf optimizers and diverse neural architectures. Interestingly, label distillation can also be applied across datasets, for example enabling learning Japanese character recognition by training only on synthetically labeled English letters.

연구 동기 및 목표

• 특정 최적화기, 아키텍처, 학습 절차에 고정된 기존의 이미지 기반 데이터셋 정련 방법의 유연성 부족 문제를 해결하기 위해.
• 정련된 데이터셋의 일반화 능력과 다양한 신경망 아키텍처 및 최적화 알고리즘 간의 이식 가능성 향상을 위해.
• 예를 들어 영어 문자에 합성 레이블을 부여한 데이터로 일본어 문자 인식을 학습하는 것과 같은 새로운 교차 데이터셋 지식 전이를 가능하게 하기 위해.
• 고차 도함수를 피하고 최적화의 분산을 줄이며, 더 효율적이고 확장 가능한 정련 알고리즘을 개발하기 위해.
• 표준 학습 파이프라인과 함께 사용할 수 있는 일반 목적의 정련된 데이터셋을 만들고, 데이터셋 정련의 실용적 구현을 촉진하기 위해.

제안 방법

• 합성 이미지를 생성하는 대신 실제 이미지에 대해 합성 레이블을 생성하는 레이블 정련(LD)을 제안함으로써, 파rameter 공간을 줄이고 자연 이미지의 통계를 유용하게 활용함.
• 비용이 많이 드는 고차 도함수를 피하기 위해 볼록 최적화 레이어 기반의 일阶 메타학습 알고리즘을 도입하여 학습 안정성과 효율성을 향상시킴.
• 메타기울기 분산을 감소시킨 의사기울기 방법을 사용하여 정련 과정에서 더 안정적이고 효과적인 최적화를 가능하게 함.
• 수렴 시 다단계 학습 및 초기화 전략을 적용하여 정련된 레이블의 일반화 및 이식 가능성 향상.
• 표준 최적화기(예: Adam)를 사용하여 정련된 레이블에 기반한 기본 모델을 학습함으로써, 외부 구입 최적화기와의 호환성을 입증함.
• 내부 및 교차 데이터셋 시나리오 모두에 이 방법을 적용하여, 예를 들어 영어 문자 데이터에서 일본어 문자를 분류하도록 학습하는 경우를 포함함.

실험 결과

연구 질문

• RQ1 합성 이미지 대신 실제 이미지에 대해 합성 레이블을 생성함으로써, 더 높은 성능과 더 큰 유연성 및 이식 가능성을 확보할 수 있는가?
• RQ2 일阶, 볼록 최적화 기반의 메타학습 방법이 고차 도함수 기반 방법보다 정련 성능과 안정성 측면에서 더 나은 성능을 낼 수 있는가?
• RQ3 예를 들어 영어 문자 데이터에서 학습한 정련된 레이블이 일본어 문자와 같은 이질적인 타겟 데이터셋에서 얼마나 효과적으로 작용하는가?
• RQ4 기존의 이미지 기반 정련 방법과 비교할 때, 레이블 정련은 테스트 정확도와 표준 최적화기 및 아키텍처와의 호환성 측면에서 어떻게 다른가?
• RQ5 정련 과정을 다시 수행하지 않고도, 다양한 신경망 아키텍처 간에 정련된 레이블을 효과적으로 재사용할 수 있는가?

주요 결과

• 레이블 정련은 기존의 이미지 기반 정련 방법보다 더 높은 테스트 정확도를 달성했으며, MNIST 및 EMNIST 데이터셋에서 성능 향상이 입증됨.
• 기존 방법이 학습률 스케줄링과 접근 순서를 맞춤 제작이 필요로 하던 데 반해, 정련된 레이블은 Adam과 같은 외부 구입 최적화기와 호환됨.
• 정련된 레이블의 이식 가능성은 크게 향상됨: AlexNet에서 정련된 레이블을 기반으로 학습한 모델은 LeNet 및 ResNet-18으로도 잘 일반화되며, 기준 방법보다 뛰어난 성능을 보임.
• 교차 데이터셋 레이블 정련을 통해 영어 문자에 합성 레이블을 부여한 데이터만으로도 일본어 문자 인식을 학습할 수 있으며, 이는 도메인 간 지식 전이의 가능성을 입증함.
• 의사기울기 방법은 고차 도함수 방법 대비 메타기울기 분산을 최대 50% 감소시켜 더 안정적인 학습과 더 나은 수렴을 이끌어냄.
• 동일한 작업에서 일阶 방법은 2차 도함수 변종 대비 84%의 레이블 복원 정확도를 달성했으며, 이는 더 나은 레이블 학습 능력을 시사함.