[論文レビュー] Why Are Conditional Generative Models Better Than Unconditional Ones?

Fan Bao, Chongxuan Li+2 more|arXiv (Cornell University)|Dec 1, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、自己教師あり特徴表現からのクラスタインデックスを条件として用いることで、無条件拡散生成モデルを改善する自己条件付き拡散モデル（SCDM）を提案する。自己教師ありモデルの特徴に対してk-meansクラスタリングを適用することで、ラベルなしでImageNet 64x64でFID 3.94の最先端性能を達成し、無条件および条件付きのベースラインを上回った。

ABSTRACT

Extensive empirical evidence demonstrates that conditional generative models are easier to train and perform better than unconditional ones by exploiting the labels of data. So do score-based diffusion models. In this paper, we analyze the phenomenon formally and identify that the key of conditional learning is to partition the data properly. Inspired by the analyses, we propose self-conditioned diffusion models (SCDM), which is trained conditioned on indices clustered by the k-means algorithm on the features extracted by a model pre-trained in a self-supervised manner. SCDM significantly improves the unconditional model across various datasets and achieves a record-breaking FID of 3.94 on ImageNet 64x64 without labels. Besides, SCDM achieves a slightly better FID than the corresponding conditional model on CIFAR10.

研究の動機と目的

• 無条件モデルに比べて条件付き生成モデルがなぜ訓練のしやすさと性能で優れているかを形式的に分析すること。
• 意味のある条件によるデータ分割が、条件付き学習の優位性の鍵であることを特定すること。
• 無条件生成の改善を図るための有効な条件を、教師なしで生成する手法を開発すること。
• ラベルを一切使用せずに、無条件画像生成における最先端のサンプル品質を達成すること。

提案手法

• 本手法は、ラベルなしデータから特徴を抽出する自己教師あり特徴抽出器（例：MoCo-v2 や SimCLR）を用いる。
• 自己教師あり特徴に対してk-meansクラスタリングを適用し、クラスタインデックスを条件として生成する。
• スコアベースの拡散モデルをこれらのクラスタインデックスに条件づけて訓練し、自己条件付き拡散モデル（SCDM）を構築する。
• 条件付きモデルは、まずクラスタインデックスをサンプリングし、その後それに基づいて画像を生成する。
• 本手法は一般性があり、任意の深層生成モデルに適用可能であるが、特に拡散モデルに対して評価されている。
• 学習済みで意味のあるクラスタを自己教師あり表現から得ることで、クラスラベルへの依存を回避する。

実験結果

リサーチクエスチョン

• RQ1 なぜ実際の応用において、条件付き生成モデルが無条件モデルを上回るのか？
• RQ2 条件付き学習が無条件学習を著しく上回る正式な条件下とは何か？
• RQ3 意味のある条件を教師なしで学習し、無条件生成を改善できるか？
• RQ4 自己教師ありクラスタリングインデックスは、無条件拡散モデルの性能向上に有効な条件として機能できるか？

主な発見

• SCDMは、完全に教師なしの設定下で、ImageNet 64x64でFID 3.94という、新たな最先端性能を達成した。
• CIFAR10では、クラスラベルを用いて訓練された対応する条件付きモデルよりもわずかに優れたFIDを達成した。
• CIFAR10、CelebA 64x64、LSUN Bedroom 64x64、ImageNet 64x64の全評価データセットにおいて、SCDMは無条件ベースラインを一貫して上回った。
• 画像ピクセルそのものに対するクラスタリングでは性能が悪く、クラスタに多様なオブジェクトクラスが含まれるため、分布の複雑さが増加する。
• 自己教師あり特徴（例：MoCo-v2 や SimCLR からのもの）は、ピクセルベースのクラスタリングよりもはるかに優れたクラスタインデックスを生成する。
• 理論的分析から、条件付きデータ分布が単純な場合に条件付きモデルがより大きな利益を得ることを示し、クラスタリングに基づく条件の有効性を説明している。