[論文レビュー] Semi-Parametric Neural Image Synthesis

Andreas Blattmann, Robin Rombach+3 more|arXiv (Cornell University)|Apr 25, 2022

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

本論文は、小さな拡散モデルや自己回帰的生成モデルを外部の画像データベースと検索メカニズムと組み合わせることで、半パラメトリックなニューラル画像生成手法を提案する。トレーニングおよび推論中にデータベース内の最近傍を条件付けすることで、顕著に少ないパラメータ数で最先端のFIDスコアを達成し、微調整なしにゼロショットドメイン変換、テキストから画像への生成、スタイライゼーションを実現する。

ABSTRACT

Novel architectures have recently improved generative image synthesis leading to excellent visual quality in various tasks. Much of this success is due to the scalability of these architectures and hence caused by a dramatic increase in model complexity and in the computational resources invested in training these models. Our work questions the underlying paradigm of compressing large training data into ever growing parametric representations. We rather present an orthogonal, semi-parametric approach. We complement comparably small diffusion or autoregressive models with a separate image database and a retrieval strategy. During training we retrieve a set of nearest neighbors from this external database for each training instance and condition the generative model on these informative samples. While the retrieval approach is providing the (local) content, the model is focusing on learning the composition of scenes based on this content. As demonstrated by our experiments, simply swapping the database for one with different contents transfers a trained model post-hoc to a novel domain. The evaluation shows competitive performance on tasks which the generative model has not been trained on, such as class-conditional synthesis, zero-shot stylization or text-to-image synthesis without requiring paired text-image data. With negligible memory and computational overhead for the external database and retrieval we can significantly reduce the parameter count of the generative model and still outperform the state-of-the-art.

研究の動機と目的

• 画像生成のためのパラメトリックモデルを大きくスケーリングするという一般的なパラダイムに挑戦し、過度な計算リソースを要する問題を是正し、アクセス性を向上させること。
• 共通の視覚的コンセプトを次第に大きなパrameter化された表現に圧縮する非効率性を、外部の非パラメトリック記憶を活用することで是正すること。
• トレーニング済みモデルを新しいドメイン（例：ゼロショットスタイライゼーション）に後から適応可能にするために、単に検索データベースを交換するだけで再トレーニングなしに可能とすること。
• 顕著に少ないパラメータ数と最小限の計算オーバーヘッドで、競争力のある生成性能を達成すること。

提案手法

• CLIPの共有テキスト・画像埋め込み空間を用いて、外部画像データベースから最近傍を検索し、その結果を条件とする小さな拡散モデルまたは自己回帰的生成モデルをトレーニングする。
• scaNNを用いたスケーラブルな近似最近傍（ANN）検索により、CLIP潜在空間内で1ミリ秒未塔で最大20個の最近傍を効率的に検索する。
• 検索された最近傍の平坦化され、ラスタースキャンされた潜在表現（例：8×8×256の4つの最近傍 → 64×1024の入力）をクロスアテンションによって生成モデルに条件づける。
• 生成モデルがコンテンツを記憶する必要をなくし、検索された例に基づく構成や編集に焦点を当てるようにすることで、分離を実現する。
• 推論時にトレーニング用データベースを新しいもの（例：WikiArt）に交換することで、同じモデルが微調整なしにスタイライズドまたはテキスト条件付きの画像を生成できるゼロショット一般化を可能にする。
• モデル固有のサンプリング技術（例：拡散モデルでは分類器フリー・ガイドランス、自己回帰モデルではtop-kサンプリング）を検索ベースの条件づけと統合する。

実験結果

リサーチクエスチョン

• RQ1 大きな外部画像データベースと検索メカニズムを補完として用いることで、小さなパラメトリック生成モデルが最先端の画像生成性能を達成できるか？
• RQ2 あるデータセット（例：ImageNet）でトレーニングされたモデルが、検索データベースを交換するだけで再トレーニングなしに、新しいドメイン（例：芸術的スタイル）に一般化できるか、その程度はいかほどか？
• RQ3 検索拡張生成は、パラメータ数を大幅に削減しながらも、サンプルの質や多様性を維持または向上させることができるか？
• RQ4 CLIPのテキスト埋め込みと検索された画像最近傍の両方に条件づけることで、未確認または架空のテキストプロンプトへの一般化性能はどのように影響を受けるか？
• RQ5 提案手法は、1つの固定されたパラメトリックジェネレータを用いて、テキストから画像への生成、クラス条件付き生成、ゼロショットスタイライゼーションといった複数の条件付き生成タスクをサポートできるか？

主な発見

• 検索拡張拡散モデル（RDM）は、ImageNet上でFID 5.69を達成し、無条件の最先端SOTAモデル（ADM、FID 6.25）を上回る性能を示したが、パラメータ数は顕著に少ない。
• RDMモデルは、クラスラベルをトレーニング時に使用せず、画像のみで学習しているにもかかわらず、クラス条件付きADMモデル（FID 5.69 対 6.25）を上回るFIDスコアを達成した。
• トレーニング用データベースをWikiArtデータセットに交換することで、同じRDMモデルはゼロショットスタイライゼーションを実現し、微調整なしにテキストプロンプトから多様で高精細な画像を生成した。
• CLIPテキスト埋め込みとその最近傍を条件づけることで、未確認や架空のテキストプロンプト（例：「ゾウの皮膚をしたパンダ」）に対しても効果的に一般化できるが、テキスト埋め込みのみに依存すると失敗する。
• 検索メカニズムは推論遅延をわずか0.95 ms、100万枚の画像あたり2GBのストレージ増加にとどめ、高いパフォーマンスを発揮しながらも、ほとんど無視できるオーバーヘッドをもたらした。
• 自己回帰的検索モデル（RARM）も強力な結果を達成し、極めて少ないパラメータ数で多様で高精細なサンプルを生成でき、制御された生成にtop-kサンプリングをサポートした。