[論文レビュー] Dataset Condensation with Latent Space Knowledge Factorization and Sharing

Haebeom Lee, Dong Bok Lee+1 more|arXiv (Cornell University)|Aug 21, 2022

Algorithms and Data Compression被引用数 9

ひとこと要約

本稿では、合成データ生成を学習可能な潜在コードと共有された軽量なデコーダーに分解する、知識因子分解と共有（KFS）という新しいデータセット縮約手法を提案する。これにより、最小限のパラメータオーヘッドで著しく多数の合成例が生成可能となる。KFSは、分離された潜在空間とデコーダー部の構成を用いて、例ごとの知識を体系的に共有することで、SVHN、CIFAR10、CIFAR100、TinyImageNetの全タスクで最先端の性能を達成しており、特にパラメータ予算が低い状況下でも顕著な優位性を示す。

ABSTRACT

In this paper, we introduce a novel approach for systematically solving dataset condensation problem in an efficient manner by exploiting the regularity in a given dataset. Instead of condensing the dataset directly in the original input space, we assume a generative process of the dataset with a set of learnable codes defined in a compact latent space followed by a set of tiny decoders which maps them differently to the original input space. By combining different codes and decoders interchangeably, we can dramatically increase the number of synthetic examples with essentially the same parameter count, because the latent space is much lower dimensional and since we can assume as many decoders as necessary to capture different styles represented in the dataset with negligible cost. Such knowledge factorization allows efficient sharing of information between synthetic examples in a systematic way, providing far better trade-off between compression ratio and quality of the generated examples. We experimentally show that our method achieves new state-of-the-art records by significant margins on various benchmark datasets such as SVHN, CIFAR10, CIFAR100, and TinyImageNet.

研究の動機と目的

• 入力空間で直接合成例を最適化する従来のデータセット縮約手法の非効率性（パラメータ対例数比が悪く、知識共有が制限される）を是正すること。
• データに内在する規則性を活用し、合成例をコンパクトな潜在空間からの生成プロセスと共有デコーダーでモデル化すること。
• 共有された潜在コードとデコーダーを通じた効率的な知識共有を可能にすることで、圧縮比と合成データ品質のトレードオフを改善すること。
• 特にパラメータ予算が低い状況で、サブサンプリングに起因する勾配の偏りと分散の問題を抱える従来手法の限界を克服すること。
• 異なるニューラルネットワークアーキテクチャとトレーニング予算に対して、合成データのロバストネスと一般化性能を示すこと。

提案手法

• 本手法は、低次元の潜在空間における学習可能な潜在コードと、それらを入力空間にマップする微小で共有されたデコーダーの2段階プロセスとして、合成データ生成をモデル化する。
• 潜在コードとデコーダーの異なる組み合わせにより、パラメータ数を増やさずに多数の多様な合成例が生成され、有効な例数が著しく増加する。
• 知識の体系的共有が実現される：同じデコーダー集合が任意の潜在コードに適用可能であり、例間での情報伝達が効率的に行える。
• 勾配計算が高コストとなる2次勾配を避けるために、分布マッチングを用いた学習を採用し、中間特徴を事前に計算・再利用することで学習効率を向上させる。
• 実データおよび合成データの両方でバッチ全体を用いた学習を採用することで、サブサンプリングに起因する偏った勾配を回避し、より多様で高品質なデータを保証する。
• エンドツーエンドで微分可能であり、潜在コードとデコーダーを同時に最適化することで、実データと合成データの分布差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間の因子分解により、データ生成プロセスを明示的にモデル化することで、データセット縮約の効率性を向上させられるか？
• RQ2 共有された潜在空間とデコーダーを介して合成例間で知識を共有することで、直接入力空間で最適化する手法と比較して、より優れた圧縮-品質トレードオフが達成できるか？
• RQ3 極めて低いパラメータ予算（例：1クラスあたり1画像）下で、提案手法は最先端のベースラインと比較してどの程度の性能を示すか？
• RQ4 提案手法から得られる合成例は、異なるニューラルネットワークアーキテクチャにどの程度一般化可能か？
• RQ5 評価時のトレーニング予算が変化しても、本手法は過学習を起こさずに高い性能を維持できるか？

主な発見

• KFSは、SVHN、CIFAR10、CIFAR100、TinyImageNetで新たな最先端性能を達成し、1クラスあたり1画像の設定下で、以前の最先端手法（IDC）と比較して14.8%および9.8%の精度向上を達成した。
• 1クラスあたり1画像の設定下でも、KFSは同じパラメータ数でも、因子分解と共有構造のおかげでベースラインよりも著しく多様な例を生成した。
• KFSは優れたアーキテクチャ間一般化性能を示した：SVHNで1クラスあたり1画像を使用した場合、ResNet-10では7.2%の性能低下、DenseNet-121では1.9%の低下に抑えられたのに対し、IDCでは28.5%および28.2%の低下を示した。
• KFSは、100～20,000ステップの全評価トレーニング予算で安定した高い性能を維持しており、過学習を示さないのに対し、ベースラインは過学習を示した。
• 定性的な分析から、潜在コードの変化がマルチモダリティ（例：SVHNの異なる数字のスタイル）を捉え、デコーダーの変化が背景やスタイルを変化させることを確認した。これは、効果的な知識共有を示している。
• 分布マッチングと事前計算された特徴量の活用により、勾配マッチングの計算コストを回避し、高い学習効率を達成した。