[논문 리뷰] Data Distillation for Text Classification

Yongqi Li, Wenjie Li|arXiv (Cornell University)|2021. 04. 17.

Machine Learning and Data Classification참고 문헌 17인용 수 8

한 줄 요약

이 논문은 대규모 원본 데이터셋의 지식을 모방하도록 수치적 표현을 최적화하여 합성된 소규모 학습 데이터를 생성하는 새로운 데이터 정련 기법을 제안한다. 기존 모델의 정확도의 약 90%를 달성하면서도 학습 데이터 크기의 0.1%만을 사용하는, 기울기 역전파를 통해 합성 데이터를 반복 최적화하는 방법이다.

ABSTRACT

Deep learning techniques have achieved great success in many fields, while at the same time deep learning models are getting more complex and expensive to compute. It severely hinders the wide applications of these models. In order to alleviate this problem, model distillation emerges as an effective means to compress a large model into a smaller one without a significant drop in accuracy. In this paper, we study a related but orthogonal issue, data distillation, which aims to distill the knowledge from a large training dataset down to a smaller and synthetic one. It has the potential to address the large and growing neural network training problem based on the small dataset. We develop a novel data distillation method for text classification. We evaluate our method on eight benchmark datasets. The results that the distilled data with the size of 0.1% of the original text data achieves approximately 90% performance of the original is rather impressive.

연구 동기 및 목표

• 대규모 텍스트 데이터셋에서 대규모 딥 러닝 모델을 훈련할 때 발생하는 높은 계산 및 저장 비용을 해결하기 위해.
• 모델 정련과 대비되는 정반대의 접근 방식으로 데이터 정련을 탐색하여, 모델 아키텍처가 아닌 학습 데이터를 압축하는 데 초점을 맞추기 위해.
• 원본 데이터셋의 핵심 지식을 유지하면서도 소규모 합성 학습 데이터를 생성하여 효율적인 모델 훈련을 가능하게 하기 위해.
• 큰 데이터셋의 지식을 압축된 합성 데이터에 정련함으로써 훈련 효율성을 향상시키고 중복을 줄이기 위해.
• 최소한의 데이터 조건에서 다양한 텍스트 분류 벤치마크에서 이 방법의 효과성을 평가하기 위해.

제안 방법

• 각 클래스당 소수의 합성 텍스트 샘플을 학습 가능한 수치 텐서(정련된 데이터)로 초기화한다.
• 학생 모델을 정련된 데이터로 훈련하고, 원본 데이터의 손실에서 유도된 기울기를 사용해 정련된 데이터를 업데이트하는 교차 최적화 과정을 적용한다.
• 정련된 데이터는 미분 가능 최적화를 통해 업데이트되며, 헤시안-벡터 곱을 사용해 2차 기울기를 효율적으로 계산한다.
• 반복적으로 합성 데이터를 정교화하여 원본 데이터셋의 결정 경계와 표현을 더 잘 근사하도록 한다.
• 최종적으로 정련된 데이터는 표준 학습 데이터로 사용되어 어떤 후속 모델도 빠르고 효율적으로 학습할 수 있다.
• 최적화 과정이 합성 데이터에 대해 미분 가능하도록 보장하여, 원본 데이터의 손실에서부터 정련된 데이터의 파라미터로 기울기가 흐르도록 한다.

실험 결과

연구 질문

• RQ1 대규모 텍스트 데이터셋에서 유도된 소규모 합성 데이터셋이 전체 데이터셋 수준의 분류 성능에 근접할 수 있는가?
• RQ2 모델 정확도와 훈련 효율성 측면에서, 데이터 정련이 무작위 샘플링이나 히우리스틱적 선택 기법보다 어떻게 다를 수 있는가?
• RQ3 정련된 데이터가 얼마나 훈련 시간과 계산 비용을 줄일 수 있으며, 동시에 모델 일반화 능력을 유지할 수 있는가?
• RQ4 정련된 데이터 크기가 모델 성능에 어떤 영향을 미치며, 전체 데이터 성능의 상한선에 도달하는가?
• RQ5 기울기 기반 정교화를 통해 원본 데이터셋의 지식이 합성 데이터로 효과적으로 전달될 수 있는가?

주요 결과

• 정련된 데이터는 원본 데이터셋 크기의 0.1%에 불과하지만, 여덟 개의 벤치마크 텍스트 분류 작업 전반에서 전체 데이터셋 성능의 약 90%를 달성했다.
• 평균적으로, 동일한 크기의 무작위로 선택된 서브셋보다 정련된 데이터가 유의미한 성능 향상을 보였으며, 각 데이터셋에서 정확도 향상 폭은 10에서 30个百分点에 이르렀다.
• 정련된 데이터로 훈련된 모델은 무작위 데이터로 훈련된 모델보다 더 빠르게 수렴하고 더 높은 정확도를 빠르게 달성하여, 더 부드러운 최적화 경로를 가짐을 시사했다.
• 클래스당 샘플 수가 매우 적은 데이터셋(예: AG’s News는 클래스당 30개 샘플)에서도 정련된 데이터는 효과적인 학습을 가능하게 했으며, AG’s News에서 85.64%의 정확도를 기록했고, 무작위 데이터는 71.33%에 머물렀다.
• 정련된 데이터 크기를 전체 데이터셋의 0.01%에서 0.1%로 늘일수록 모델 정확도는 일관되게 향상되었고, 전체 데이터셋 성능에 가까워지는 경향을 보이며 확장 가능성을 입증했다.
• 이 방법은 서브셋 선택의 상한선을 초월할 수 있음을 보여주었으며, 특정 서브셋에 존재하지 않는 지식을 포괄함으로써 합성 데이터 생성이 더 높은 성능을 낼 수 있음을 입증했다.