[論文レビュー] CAFE: Learning to Condense Dataset by Aligning Features

Kai Wang, Bo Zhao+8 more|arXiv (Cornell University)|Mar 3, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

CAFEは、複数のネットワーク層にわたるリアルデータと合成データの特徴分布を揃えることで一般化性能を向上させる、新しいデータ縮約手法を提案する。また、識別損失と動的二段階最適化を組み合わせることで、SVHNで先行手法を最大11%上回り、ResNet18 や MLP といった多様なアーキテクチャにおいても優れた一般化性能を示す。

ABSTRACT

Dataset condensation aims at reducing the network training effort through condensing a cumbersome training set into a compact synthetic one. State-of-the-art approaches largely rely on learning the synthetic data by matching the gradients between the real and synthetic data batches. Despite the intuitive motivation and promising results, such gradient-based methods, by nature, easily overfit to a biased set of samples that produce dominant gradients, and thus lack global supervision of data distribution. In this paper, we propose a novel scheme to Condense dataset by Aligning FEatures (CAFE), which explicitly attempts to preserve the real-feature distribution as well as the discriminant power of the resulting synthetic set, lending itself to strong generalization capability to various architectures. At the heart of our approach is an effective strategy to align features from the real and synthetic data across various scales, while accounting for the classification of real samples. Our scheme is further backed up by a novel dynamic bi-level optimization, which adaptively adjusts parameter updates to prevent over-/under-fitting. We validate the proposed CAFE across various datasets, and demonstrate that it generally outperforms the state of the art: on the SVHN dataset, for example, the performance gain is up to 11%. Extensive experiments and analyses verify the effectiveness and necessity of proposed designs.

研究の動機と目的

• 勾配ベースのデータ縮約手法が困難またはノイジーなサンプルに過適合するという一般化の限界を是正すること。
• 実データセットの完全なデータ分布と識別的構造を、合成学習セットに保持すること。
• 分布レベルの監視により、未知のニューラルネットワークアーキテクチャへの一般化を向上させること。
• 動的二段階最適化スキームを用いて、合成データ最適化における過適合と未適合を軽減すること。

提案手法

• CAFEは、ニューラルネットワークの複数の中間層にわたって、リアルデータと合成データの特徴分布を一致させる層別特徴一致（LFA）モジュールを採用する。
• 実サンプルが合成クラスタにどれほど類似しているかに基づいて分類する識別損失を導入し、合成セットに識別的パワーを注入する。
• ネットワークと合成データの更新に適応的にSGDステップ数を調整する動的二段階最適化フレームワークを採用し、過適合と未適合を防止する。
• 分布一致と分類性能の両立を図る二段階目的関数を用いて、合成データとモデルパラメータを同時に最適化する。
• 特徴分布一致と分類ベースの識別を組み合わせた統合損失関数を用いて、エンドツーエンドでフレームワークを訓練する。
• 初期化はランダムノイズから行われ、合成データとモデル重みの両方に対して勾配降下を協調的に行う。

実験結果

リサーチクエスチョン

• RQ1 複数層にわたる特徴分布一致は、勾配ベース手法を上回る合成データセットの一般化を向上させ得るか？
• RQ2 複数スケールでの特徴一致は、縮約データの品質と代表的特性にどのように影響するか？
• RQ3 識別損失を組み込むことで、合成データの識別的能力はどの程度向上するか？
• RQ4 動的二段階最適化戦略は、データ縮約の過程で過適合と未適合を効果的に防止できるか？
• RQ5 CAFEが生成する合成データセットは、未知のニューラルネットワークアーキテクチャにどの程度一般化するか？

主な発見

• SVHNデータセットでは、最先端手法を最大11%上回る性能を達成した。
• CIFAR-10では、AlexNet、VGG11、ResNet18、3層MLPでそれぞれDCという先行最先端手法を5.25%、1.79%、4.42%、7.96%上回った。
• 可視化結果から、CAFEが生成する合成画像はDCのものよりも意味論的に正確で、実画像に類似していることが示された。
• t-SNE可視化では、CAFEが実データの完全な分布をよりよく捉えているのに対し、DCの合成特徴は意思決定境界付近に密に固まっていることが確認された。
• CAFEの動的二段階最適化は、固定ステップ数のベースラインと比較して、訓練ステップのバランスを効果的にとらせており、過適合と未適合を軽減した。
• 特に深層かつ異なるアーキテクチャにおいて、CAFEは勾配ベース手法に比べて顕著に優れた一般化性能を示し、アーキテクチャの変化に対して強いロバストネスを示した。