[논문 리뷰] Data Distillation: A Survey

Noveen Sachdeva, Julian McAuley|arXiv (Cornell University)|2023. 01. 11.

Advanced Graph Neural Networks인용 수 18

한 줄 요약

이 설문조사는 데이터 증류를 위한 공식 프레임워크와 분류체계를 제시하고, 이미지, 그래프, 그리고 추천 시스템 데이터 전반의 방법을 검토하며, 도전 과제와 향후 방향에 대해 논의한다.

ABSTRACT

The popularity of deep learning has led to the curation of a vast number of massive and multifarious datasets. Despite having close-to-human performance on individual tasks, training parameter-hungry models on large datasets poses multi-faceted problems such as (a) high model-training time; (b) slow research iteration; and (c) poor eco-sustainability. As an alternative, data distillation approaches aim to synthesize terse data summaries, which can serve as effective drop-in replacements of the original dataset for scenarios like model training, inference, architecture search, etc. In this survey, we present a formal framework for data distillation, along with providing a detailed taxonomy of existing approaches. Additionally, we cover data distillation approaches for different data modalities, namely images, graphs, and user-item interactions (recommender systems), while also identifying current challenges and future research directions.

연구 동기 및 목표

• 데이터 증류를 위한 공식 프레임워크를 도입하고 epsilon-approximate 데이터 요약을 정의한다.
• 데이터 증류 접근법의 분류 체계를 제시하고 데이터 모달리티 간 방법들을 비교한다.
• 이미지, 그래프, 및 사용자-아이템 상호작용에 대한 데이터 증류 기법을 논의한다.
• 데이터 증류의 도전 과제, 한계 및 향후 방향을 식별한다.

제안 방법

• epsilon-approximate 데이터 요약을 정의하고 데이터 증류 목표를 형식화한다.
• 메타모델 매칭, 그래디언트 매칭, 궤적 매칭, 및 분포 매칭의 네 가지 범주로 방법을 분류한다.
• 각 범주 내의 대표 기법들을 설명하고 비교한다(예: DD, KIP, RFAD, FRePO, DC, DCC, IDC, MTT, TESLA, CAFE, IT-GAN).
• 내부/외부 루프 최적화, TBPTT, NTK 기반 내부 풀이, 메모리/스케일 트레이드오프와 같은 계산 고려사항을 논의한다.

[HQ Image Link] Figure 1 : The premise of data distillation demonstrated using an image dataset.

실험 결과

연구 질문

• RQ1 데이터 증류 문제와 그 목표를 가장 잘 포착하는 공식 프레임워크는 무엇인가?
• RQ2 효율성, 충실도, 전이성 측면에서 다양한 데이터 증류 패러다임은 어떻게 비교되는가?
• RQ3 메타모델, 그래디언트, 궤적 매칭, 분포 매칭 접근법의 실용적 절충과 확장성 한계는 무엇인가?
• RQ4 데이터 증류 기법은 여러 데이터 모달리티(이미지, 그래프, 추천 데이터)에서 어떻게 성능을 발휘하는가?

주요 결과

• 그래디언트 매칭 접근법은 실제로 데이터 프루닝 기반 베이스라인 및 TBPTT 기반 방법보다 종종 우수하다.
• 분포 매칭 방법은 위층 최적화를 피함으로써 상당한 확장성 개선을 제공한다.
• 궤적 매칭 접근법은 장기 긴 시퀀스의 학습 역학을 근사할 수 있지만 큰 그래디언트 언롤 비용이 발생할 수 있으며, 최신 기술(TESLA)에 의해 완화된다.
• 다른 모달리티는 맞춤형 인코더나 표현이 필요하며, CAFE와 같은 방법은 다층 잠재 표현을 활용해 충실도를 높인다.
• 여러 방법은 커널 기반 또는 선형 분류기 분리(KIP, RFAD, FRePO 등)를 통해 계산 비용을 감소시킨다.
• 이 프레임워크는 충실도, 효율성, 전이성 간의 고유한 절충을 강조하며 No Free Lunch 원칙의 반향을 불러일으킨다.

[HQ Image Link] Figure 2 : A taxonomy of existing data distillation approaches.