[論文レビュー] Dataset Condensation with Distribution Matching

Bo Zhao, Hakan Bilen|arXiv (Cornell University)|Oct 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 14

ひとこと要約

本稿では、複数のランダムにサンプリングされた埋め込み空間において、実データと合成データの特徴分布を最大平均差分（MMD）を用いて一致させることで、高品質なトレーニング画像を高速に合成する効率的なデータセット縮約手法を提案する。従来の手法とは異なり、高コストな二段階最適化や2階微分を回避し、CIFAR-10では45倍高速な合成を達成しながら、継続的学習およびニューラルアーキテクチャサーチにおいて最先端の結果と同等またはそれを上回る性能を達成している。

ABSTRACT

Computational cost of training state-of-the-art deep models in many learning problems is rapidly increasing due to more sophisticated models and larger datasets. A recent promising direction for reducing training cost is dataset condensation that aims to replace the original large training set with a significantly smaller learned synthetic set while preserving the original information. While training deep models on the small set of condensed images can be extremely fast, their synthesis remains computationally expensive due to the complex bi-level optimization and second-order derivative computation. In this work, we propose a simple yet effective method that synthesizes condensed images by matching feature distributions of the synthetic and original training images in many sampled embedding spaces. Our method significantly reduces the synthesis cost while achieving comparable or better performance. Thanks to its efficiency, we apply our method to more realistic and larger datasets with sophisticated neural architectures and obtain a significant performance boost. We also show promising practical benefits of our method in continual learning and neural architecture search.

研究の動機と目的

• 大規模な実データセットに依存せず、小さな情報量が多いトレーニングセットを合成することで、深層モデルの学習にかかる計算コストを低減すること。
• コアセット選択の限界を克服すること。コアセット選択は元のサンプルに含まれる情報に制限され、グリーディで短絡的な選択戦略を採用しているため。
• データセット縮約において、高コストな二段階最適化と2階微分の計算を排除すること。これによりスケーラビリティと効率性が向上する。
• 合成データのトレーニングを各クラスごとに独立的かつ並列に行えるようにし、より大規模で複雑なデータセットに対してもスケーラブルな手法を実現すること。
• 継続的学習およびニューラルアーキテクチャサーチにおいて、縮約された合成セットをプロキシデータセットとして使用することで実用的価値を示すこと。

提案手法

• 本手法は、ランダムに初期化された深層ニューラルネットワークの埋め込み空間の族において、実データと合成データの間の分布マッチング問題としてデータセット縮約を定式化する。
• 実データと合成データの特徴埋め込み間の分布差を測定・最小化するために、最大平均差分（MMD）を用いる。この処理は複数のサンプリングされた埋め込み空間で実施される。
• 合成画像は、MMD損失関数の合成画像に関する1階微分のみを用いて、エンドツーエンドで最適化される。これにより、二段階最適化や2階導関数の計算を回避できる。
• 本手法は、各クラスの合成データを独立的かつ並列に最適化可能であり、トレーニングの効率性とスケーラビリティを顕著に向上させる。
• 埋め込み空間は、最適化中に固定されたランダムに初期化された深層ネットワークをサンプリングすることで、効率的に生成される。微調整は不要である。

実験結果

リサーチクエスチョン

• RQ1 二段階最適化や2階微分を用いずに、ランダムな埋め込み空間における分布マッチングが、競争力のあるデータセット縮約性能を達成できるか？
• RQ2 標準ベンチマークにおいて、本手法は最先端の手法と比較して、合成速度および一般化性能の点でどのように差をつけるか？
• RQ3 縮約された合成セットは、フルデータセットの性能と相関が高いプロキシデータセットとして、ニューラルアーキテクチャサーチの高速化に有効に機能するか？
• RQ4 継続的学習のシナリオにおいて、異なるデータ分割戦略に対しても本手法はロバストな性能を維持できるか？
• RQ5 TinyImageNet や ImageNet-1K といったより大規模で複雑なデータセットに対しても、本手法は効果的にスケーリングできるか？

主な発見

• CIFAR-10で500枚の合成画像を生成する際、本手法は最先端の手法と比較して45倍高速な合成時間を達成し、性能は同等またはそれ以上であった。
• 5および10クラスの学習ステップを想定した継続的学習において、本手法（GDumb + DM）は34.4%および34.6%の正確度を達成し、DSA（31.7%および30.5%）、ハーディング（28.2%および27.4%）、ランダム（両方24.8%）を上回った。
• CIFAR-10におけるニューラルアーキテクチャサーチにおいて、本手法はプロキシセットとフルデータセットの性能のスピアマン順位相関係数を0.76に達成し、DSA（0.68）を大きく上回り、ランダム（-0.04）よりも顕著に優れていた。この際、使用した学習データはフルデータの1%にとどまった。
• プロキシセットでのバリデーション正確度は84.3%に達し、トレーニング時間はわずか72分であった。これはフルデータセット学習に要する3580.2分と比較して無視できるほど短い。
• 本手法は大規模なデータセットに対しても効果的にスケーリングでき、CIFAR-10では1クラスあたり1250枚の合成画像を学習し、TinyImageNetおよびImageNet-1Kに対しても実現可能性を示した。