[論文レビュー] Is Synthetic Data From Diffusion Models Ready for Knowledge Distillation?

Zheng Li, Yuxuan Li+4 more|arXiv (Cornell University)|May 22, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、実際の訓練データが入手不可な状況下で、最先端の拡散モデルによって生成された合成画像を用いた知識蒸留の有効性を調査する。実際のデータが存在しない環境下でも、公開の拡散モデルを活用してプロキシデータセットを生成するシンプルでブラックボックス互換性のある手法を提案し、複数のベンチマークで最先端の性能を達成した。驚くべきことに、低精細度の画像や弱い教師モデルが、より高い性能を示す。これは、ドメインギャップの低減と特徴の効果的転送が促進されるためである。

ABSTRACT

Diffusion models have recently achieved astonishing performance in generating high-fidelity photo-realistic images. Given their huge success, it is still unclear whether synthetic images are applicable for knowledge distillation when real images are unavailable. In this paper, we extensively study whether and how synthetic images produced from state-of-the-art diffusion models can be used for knowledge distillation without access to real images, and obtain three key conclusions: (1) synthetic data from diffusion models can easily lead to state-of-the-art performance among existing synthesis-based distillation methods, (2) low-fidelity synthetic images are better teaching materials, and (3) relatively weak classifiers are better teachers. Code is available at https://github.com/zhengli97/DM-KD.

研究の動機と目的

• 最先端の拡散モデルから生成された合成画像が、データフリーの知識蒸留において実際のデータに効果的に置き換え可能かどうかを調査すること。
• プライバシーまたはセキュリティ上の制約により実際のデータが入手不可な状況下で、合成データのみを用いた蒸留の性能を評価すること。
• データフリー蒸留設定における合成データ生成の最適な設定と教師-学生アーキテクチャ選定の最適化を特定すること。
• 合成データを用いた蒸留性能に与える画像の精細度と教師モデルの能力の影響を理解すること。

提案手法

• 公開の事前学習済み条件付き拡散モデル（例：Stable Diffusion、DiT）を活用し、知識蒸留用のプロキシ訓練データとして合成画像を生成すること。
• 事前学習済みの教師モデルを用いて合成画像のソフトラベルを生成し、それらを標準的な蒸留損失関数を用いて学生モデルの学習に使用すること。
• 確率分布の平滑化と知識転送の向上を図るため、蒸留プロセスに温度スケーリングを適用すること。
• ソフトラベルとの併用で、拡散モデルの分類ラベルから得られるハードラベルの影響を評価するために、両者を併用して訓練すること。
• ガイドランスケール（s）やサンプリングステップ数（T）といった拡散モデルのハイパーパrameterを系統立てて変化させ、それらが蒸留性能に与える影響を評価すること。
• 温度、ラベルタイプ（ソフト対ハード）、教師-学生モデルの能力差といった要因の影響を分離するために、アブレーションスタディを実施すること。

実験結果

リサーチクエスチョン

• RQ1 最先端の拡散モデルから生成された合成画像は、データフリーの知識蒸留において実際のデータに効果的に置き換え可能か？
• RQ2 合成データの画像精細度が高ければ高いほど蒸留性能が向上するのか、それとも低精細度のほうが有益か？
• RQ3 合成データを用いた蒸留において、強い教師モデルが常に優れた性能を示すのか、それとも弱い教師モデルが優れた結果をもたらすことがあるか？
• RQ4 拡散モデルのハイパーパrameter（ガイドランスケールやサンプリングステップ数）が、合成データの品質と蒸留用途における有用性にどのように影響するか？
• RQ5 ソフトラベルに加えて、拡散モデルの分類ラベルから得られるハードラベルを用いることで、蒸留性能が向上するのか、それとも劣化するのか？

主な発見

• ImageNet-1K、ImageNet-100、CIFAR-100、Flowers-102の複数のベンチマークで、合成データが拡散モデルから生成された場合、データフリー知識蒸留において最先端の性能を達成した。これは、合成データとターゲットデータセットとの間でカテゴリの重複がない場合でも同様に成立する。
• ガイドランスケール（s）を小さく、サンプリングステップ数（T）を減らして生成された低精細度の合成画像が、高精細度の画像よりも学生モデルの性能を向上させる。これは、後者の方がImageRewardスコアが高かったにもかかわらず同様に成立する。
• 合成データ上で学習する場合、やや弱い教師モデル（例：ResNet18）を用いることで、強い教師モデル（例：ResNet50）を用いる場合よりも優れた性能が得られる。ImageNetでResNet34を学習した際、3%の精度向上が観察された。
• 拡散モデルの分類ラベルから得られるハードラベルをソフトラベルと併用して訓練すると、ソフトラベルのみを用いた場合に比べて性能が劣化する。これは、合成データと実データの間でドメインギャップが生じていることを示している。
• 蒸留における最適な温度ハイパーパrameterはτ = 10であり、実験全体で最高の性能を発揮した。
• 使用する合成画像の数を増やすことで、学生モデルの性能が向上し、提案手法のスケーラビリティが裏付けられた。