[論文レビュー] DC-BENCH: Dataset Condensation Benchmark

Justin Cui, Ruochen Wang+2 more|ArXiv.org|Jul 20, 2022

Machine Learning and Data Classification被引用数 14

ひとこと要約

本論文は、四つの評価プロトコル（多様なオーグメンテーション下での性能、異なるアーキテクチャへの転送性、異なる圧縮比での有効性、ニューラルアーキテクチャサーチ（NAS）における有用性）を通じて、データセット圧縮手法を評価する最初の標準化ベンチマークであるDC-BENCHを紹介する。ベンチマークの結果、Training Trajectory Matching（TM）やDifferentially Scaled Augmentation（DSA）といった手法は単一モデル学習ではベースラインを上回るが、NASやより深いモデルには一般化できず、圧縮比が高くなると性能が著しく低下する。これは、現在の手法が現実世界への適用性や転送性に重大なギャップを有していることを示している。

ABSTRACT

Dataset Condensation is a newly emerging technique aiming at learning a tiny dataset that captures the rich information encoded in the original dataset. As the size of datasets contemporary machine learning models rely on becomes increasingly large, condensation methods become a prominent direction for accelerating network training and reducing data storage. Despite numerous methods have been proposed in this rapidly growing field, evaluating and comparing different condensation methods is non-trivial and still remains an open issue. The quality of condensed dataset are often shadowed by many critical contributing factors to the end performance, such as data augmentation and model architectures. The lack of a systematic way to evaluate and compare condensation methods not only hinders our understanding of existing techniques, but also discourages practical usage of the synthesized datasets. This work provides the first large-scale standardized benchmark on Dataset Condensation. It consists of a suite of evaluations to comprehensively reflect the generability and effectiveness of condensation methods through the lens of their generated dataset. Leveraging this benchmark, we conduct a large-scale study of current condensation methods, and report many insightful findings that open up new possibilities for future development. The benchmark library, including evaluators, baseline methods, and generated datasets, is open-sourced to facilitate future research and application.

研究の動機と目的

• データセット圧縮手法のための体系的で標準化された評価プロトコルの欠如に起因する、公平な比較や実用的導入の障壁を解消すること。
• データオーグメンテーション、モデルアーキテクチャ、圧縮比といった要因が、性能評価を複雑にし、圧縮アルゴリズムの真の有効性を曇らせる要因であることを同定すること。
• 単一モデル学習をはるかに超えた、大規模な下流タスク（例：ニューラルアーキテクチャサーチ（NAS））における縮小データセットの実用的有用性を評価すること。
• K-Center選択を用いた合成データ初期化戦略が収束速度と最終的性能に与える影響を調査すること。
• 再現可能な評価、ランク付け、キュレート済みデータセットを備えた包括的でオープンソースのベンチマークライブラリを提供し、データセット圧縮分野の今後の研究を加速すること。

提案手法

• 四つの評価プロトコル（1）異なるオーグメンテーション下での性能、（2）多様なモデルアーキテクチャへの転送性、（3）異なる圧縮比での性能、（4）NASタスクでの性能）を通じて、圧縮手法を多面的に評価するベンチマークを設計する。
• ランダムシードやトレーニングプロトコルなどの外部要因から圧縮手法の性能を分離する標準化された評価パイプラインを実装し、公平な比較を可能にする。
• 最先端の圧縮手法（DC, DSA, DM, TM）とベースラインのデータ選択手法（ランダム、K-Center）を評価スイートに含める。
• 合成データの初期化戦略としてK-Centerを導入し、ランダム初期化やガウス初期化と比較することで、収束と最終的精度に与える影響を評価する。
• パブリックランク付けと、評価者、ベースライン実装、生成済みデータセットを含む、全ベンチマークライブラリをオープンソース化し、https://github.com/justincui03/dc_benchmark にホスティングする。
• CIFAR-10およびCIFAR-100を用いた大規模な実験的分析を、多様なトレーニングプロトコルと現代のNASベンチマークを用いて実施し、一般化性とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるデータセット圧縮手法は、多様なオーグメンテーション戦略下でどのように性能を発揮するか。また、オーグメンテーションは相対順位に顕著な影響を与えるか？
• RQ2 縮小データセットはどの程度異なるニューラルネットワークアーキテクチャに一般化できるか。K-Centerのような単純なデータ選択ベースラインと比較して、その転送性はいかがなものか？
• RQ3 圧縮比が上昇するにつれて性能はどのように低下するか。また、どの時点で圧縮手法の性能がランダム選択と区別できなくなるか？
• RQ4 縮小データセットはニューラルアーキテクチャサーチ（NAS）を効果的に加速できるか。また、フルデータセットで学習したモデルの真の性能順位を保持できるか？
• RQ5 K-Centerを用いた合成データ初期化は、ランダムまたはガウス初期化と比較して、収束速度と最終的精度を向上させるか？

主な発見

• Training Trajectory Matching（TM）が、全評価プロトコルで最良の性能を示し、次いでDifferentially Scaled Augmentation（DSA）が続く。ただし、TMは大規模データセットや高圧縮比にはスケーラブルでない。
• 評価時におけるデータオーグメンテーションが、すべての圧縮手法で性能を著しく向上させる。これは、オーグメンテーションが縮小データセットの評価において重要な要因であることを示している。
• 圧縮手法は極めて低い圧縮比でのみ効果的である。CIFAR-10では1クラスあたり400枚を超えると、性能はほぼランダムベースライン水準まで低下する。
• 単一モデル学習では優れた性能を示すが、現在の圧縮手法はNASタスクへの転送性に失敗している。大規模なNASベンチマークでは、K-Centerを除くすべての手法が、縮小データセットとフルデータセットでの性能の間に負の相関またはほぼゼロの相関を示している。
• K-Centerを用いた合成データ初期化は、計算予算を約30％削減し、平均で1.3％の最終的精度向上をもたらす。初期化戦略が収束と性能に顕著に影響することを示している。
• ベンチマークの結果、現在の圧縮手法は真のモデル性能順位を保持していない。縮小データセットから発見された最良のアーキテクチャが、フルデータセットでは実際には低い性能を示すことが多く、これはモデル探索用途におけるその実用性に根本的な制限があることを示している。