[論文レビュー] Data Distillation: A Survey

Noveen Sachdeva, Julian McAuley|arXiv (Cornell University)|Jan 11, 2023

Advanced Graph Neural Networks被引用数 18

ひとこと要約

このサーベイはデータ蒸留の正式な枠組みと分類を提示し、画像、グラフ、レコメンダーシステムデータにわたる手法をレビューし、課題と今後の方向性を論じる。

ABSTRACT

The popularity of deep learning has led to the curation of a vast number of massive and multifarious datasets. Despite having close-to-human performance on individual tasks, training parameter-hungry models on large datasets poses multi-faceted problems such as (a) high model-training time; (b) slow research iteration; and (c) poor eco-sustainability. As an alternative, data distillation approaches aim to synthesize terse data summaries, which can serve as effective drop-in replacements of the original dataset for scenarios like model training, inference, architecture search, etc. In this survey, we present a formal framework for data distillation, along with providing a detailed taxonomy of existing approaches. Additionally, we cover data distillation approaches for different data modalities, namely images, graphs, and user-item interactions (recommender systems), while also identifying current challenges and future research directions.

研究の動機と目的

• データ蒸留の正式な枠組みを導入し、epsilon近似データ要約を定義する。
• データ蒸留アプローチの分類学を提供し、データモダリティ間で手法を比較する。
• 画像、グラフ、およびユーザー-アイテム相互作用のデータ蒸留技術について論じる。
• データ蒸留の課題、限界、今後の方向性を特定する。

提案手法

• epsilon近似データ要約を定義し、データ蒸留の目的関数を定式化する。
• 手法を four categories に分類する: メタモデルマッチング、勾配マッチング、軌道マッチング、分布マッチング。
• 各カテゴリ内の代表的手法を説明・比較する（例: DD, KIP, RFAD, FRePO, DC, DCC, IDC, MTT, TESLA, CAFE, IT-GAN）。
• 内側/外側ループ最適化、TBPTT、NTKベースの内側解法、メモリ/規模のトレードオフなど、計算上の考慮事項を論じる。

[HQ Image Link] Figure 1 : The premise of data distillation demonstrated using an image dataset.

実験結果

リサーチクエスチョン

• RQ1 データ蒸留問題とその目的を最もよく捉える正式な枠組みは何か？
• RQ2 効率性、忠実度、移転性の観点から、異なるデータ蒸留パラダイムはどう比較されるか？
• RQ3 メタモデル、勾配、軌道、分布マッチングアプローチの実践的なトレードオフとスケーラビリティの限界は何か？
• RQ4 データ蒸留技術は複数のデータモダリティ（画像、グラフ、レコメンダデータ）でどのように性能を発揮するか？

主な発見

• 勾配マッチング手法は実務上、データ剪定ベースラインやTBPTTベースの手法をしばしば上回る。
• 分布マッチング手法は二階最適化を回避することで大幅なスケーラビリティの改善を提供する。
• 軌道マッチング手法は長期のトレーニングダイナミクスを近似できるが、勾配展開コストが高くなることがある。新しい手法（TESLA）で緩和される。
• モダリティごとに適切なエンコード器や表現が必要で、CAFE のような手法は多層潜在表現を利用して忠実度を向上させる。
• いくつかの手法はカーネルベースや線形分類器のデカップリングによって計算コストを削減する（例: KIP, RFAD, FRePO）。
• この枠組みは忠実度、効率性、移転性の間の inherent trade-offs を強調し、No Free Lunch の原理を反響する。

[HQ Image Link] Figure 2 : A taxonomy of existing data distillation approaches.