[論文レビュー] Identity Encoder for Personalized Diffusion

Yu-Chuan Su, Kelvin C. K. Chan+6 more|arXiv (Cornell University)|Apr 14, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、少数の参照画像から被写体固有の埋め込みを抽出する、パーソナライズド・ディフュージョンモデル向けのアイデンティティエンコーダーを提案する。この手法により、微調整を必要とせず、高速でフォワード・パスな生成が可能となる。本手法は、アイデンティティ保持性と生成品質の両面で優れた性能を発揮し、1枚の参照画像でも、最先端のベースラインを上回る95％以上のユーザー満足度を達成する。

ABSTRACT

Many applications can benefit from personalized image generation models, including image enhancement, video conferences, just to name a few. Existing works achieved personalization by fine-tuning one model for each person. While being successful, this approach incurs additional computation and storage overhead for each new identity. Furthermore, it usually expects tens or hundreds of examples per identity to achieve the best performance. To overcome these challenges, we propose an encoder-based approach for personalization. We learn an identity encoder which can extract an identity representation from a set of reference images of a subject, together with a diffusion generator that can generate new images of the subject conditioned on the identity representation. Once being trained, the model can be used to generate images of arbitrary identities given a few examples even if the model hasn't been trained on the identity. Our approach greatly reduces the overhead for personalized image generation and is more applicable in many potential applications. Empirical results show that our approach consistently outperforms existing fine-tuning based approach in both image generation and reconstruction, and the outputs is preferred by users more than 95% of the time compared with the best performing baseline.

研究の動機と目的

• パーソナライズド・イメージ生成におけるアイデンティティ固有の微調整を不要にすることにより、高い計算コストとストレージコストを回避すること。
• 1枚の参照画像ですら使用可能な、少数の参照画像のみで、高速かつフォワード・パスなパーソナライズド・イメージ生成を実現すること。
• テスト時最適化を伴わずに、アイデンティティ保持性と出力の多様性を向上させること。
• 超解像やインpaintingといった多様な下流タスクに適用可能な汎用的なフレームワークを構築すること。
• 各新しいアイデンティティに対してモデル再訓練を必要としないため、ユーザーおよびシステムの負担を軽減すること。

提案手法

• 学習可能なアイデンティティエンコーダーを訓練し、被写体の参照画像群からコンactなアイデンティティ表現を抽出する。
• エンコーダーとディフュージョン・ジェネレータを、アイデンティティ保持性と出力多様性のバランスを取るマルチタスク目的関数で共同訓練する。
• 同じアイデンティティの埋め込みの凸包が、同一の被写体を表すように、アイデンティティ保持制約を導入する。
• 同じアイデンティティの埋め込みを埋め込み空間内で局所化するため、ソフトネイジャーネイバー型のアイデンティティ損失を導入する。
• 大規模な顔画像データセット（例：FFHQ）を統合するアイデンティティに依存しない共同訓練方式を採用し、一般化性能と埋め込み品質を向上させる。
• 最適化を伴わない推論を可能にし、エンコードされたアイデンティティ表現に条件づけられた多様でパーソナライズドな画像を生成する。

Figure 1: Given reference images of a subject, our goal is to learn an identity encoder and a diffusion generator such that the identity encoder can extract an identity representation from the references, and the diffusion generator can generate diverse images of the subject conditioning on the repr

実験結果

リサーチクエスチョン

• RQ1 フォワード・パス型エンコーダーを用いたアプローチが、各アイデンティティに対して微調整を必要とせず、パーソナライズド・イメージ生成を達成できるか。
• RQ2 1枚または少数の参照画像が与えられた場合、アイデンティティエンコーダーがどれほど一般化できるか。
• RQ3 パーソナライズド・ディフュージョン・モデルにおいて、アイデンティティ保持性と出力多様性のバランスを取るために、どのようなトレーニング要素が不可欠か。
• RQ4 提案手法が、生成品質とユーザー満足度の両面で、微調整ベースのベースラインを上回ることができるか。
• RQ5 超解像やインpaintingといった下流タスクに、アイデンティティの忠実度を高めた状態でどの程度拡張可能か。

主な発見

• 人間評価において、本手法は最も性能の優れたベースラインと比較して、95％を超えるユーザー満足度を達成した。
• FIDスコアとユーザー調査の両面で、微調整ベースのアプローチを一貫して上回った。
• 1枚の参照画像のみでも、アイデンティティ保持性が高く維持される一方、微調整ベースラインは参照画像が少ないほど著しく性能が低下した。
• アブレーションスタディの結果、アイデンティティ保持制約、ソフトネイジャーネイバー損失、マルチタスク学習の3つのコアコンponentが最適性能を発揮するために不可欠であることが確認された。
• 超解像やインpaintingといった下流タスクに対しても、アイデンティティを保持しつつ高い画像品質を維持する点で、良好な一般化性能を示した。
• 推論速度は、ベースラインの微調整アプローチと比較して最大29倍速く、テスト時の最適化を完全に不要とした。

Figure 2: Instead of learning an one-to-one mapping between the embedding and image space (top panel), the identity encoder learns a set-to-set mapping. Different combinations of reference images all correspond to the identity representation of the same subject, and each identity embedding maps to a