[論文レビュー] A Neural Space-Time Representation for Text-to-Image Personalization

Yuval Alaluf, Elad Richardson+2 more|arXiv (Cornell University)|May 24, 2023

Computer Graphics and Visualization Techniques被引用数 6

ひとこと要約

本稿では、ノイズ除去ステップとU-Net層の両方にわたる概念埋め込みを、小さなニューラルマッパーを用いて暗黙的にモデル化する、テキストから画像へのパーソナライゼーションのためのニューラル空間時間表現NeTIを提案する。時間と空間に条件付け、テキストバイパスを導入することで、生成モデルの微調整なしに高精細で編集可能な画像生成を実現し、視覚的品質と編集可能性の両面で先行手法を上回る。

ABSTRACT

A key aspect of text-to-image personalization methods is the manner in which the target concept is represented within the generative process. This choice greatly affects the visual fidelity, downstream editability, and disk space needed to store the learned concept. In this paper, we explore a new text-conditioning space that is dependent on both the denoising process timestep (time) and the denoising U-Net layers (space) and showcase its compelling properties. A single concept in the space-time representation is composed of hundreds of vectors, one for each combination of time and space, making this space challenging to optimize directly. Instead, we propose to implicitly represent a concept in this space by optimizing a small neural mapper that receives the current time and space parameters and outputs the matching token embedding. In doing so, the entire personalized concept is represented by the parameters of the learned mapper, resulting in a compact, yet expressive, representation. Similarly to other personalization methods, the output of our neural mapper resides in the input space of the text encoder. We observe that one can significantly improve the convergence and visual fidelity of the concept by introducing a textual bypass, where our neural mapper additionally outputs a residual that is added to the output of the text encoder. Finally, we show how one can impose an importance-based ordering over our implicit representation, providing users control over the reconstruction and editability of the learned concept using a single trained model. We demonstrate the effectiveness of our approach over a range of concepts and prompts, showing our method's ability to generate high-quality and controllable compositions without fine-tuning any parameters of the generative model itself.

研究の動機と目的

• 従来のテキストから画像へのパーソナライゼーション手法が、$\mathcal{P}$ や $\mathcal{P}^+$ のような静的で低次元の空間に概念を表現するという制限により、視覚的精細度と編集可能性が制限されることに対処すること。
• 拡散モデルのノイズ除去プロセスの動的性質を捉えることができる、より洗練された時間的・層依存の条件付け空間 $\mathcal{P}^*$ を探求すること。
• 数百のベクトルを直接最適化しないで、小さなマッパー・ネットワークを用いて $\mathcal{P}^*$ に概念をコンactにエンコードする、暗黙的なニューラル表現（NeTI）を開発すること。
• テキストエンコーダ出力に残差ベクトルを追加するテキストバイパスを導入することで、表現能力を向上させ、収束性と視覚的精細度を向上させること。
• 重要度に基づく順序付けとドロップアウトスケジューリングを用いて、推論時に再構築品質と編集可能性のトレードオフを動的に制御できること。

提案手法

• ノイズ除去ステップ $t$ とU-Net層 $\ell$ のすべての組み合わせに対してベクトルとして定義される、空間時間的条件付け空間 $\mathcal{P}^*$ を導入する。
• 入力を $t$ と $\ell$ として受け取り、$\mathcal{P}$ 内の対応する埋め込みを出力するニューラルマッパー・ネットワーク NeTI を提案する。これにより、$\mathcal{P}^*$ 全体が暗黙的に表現される。
• マッパーが出力する残差ベクトルをテキストエンコーダ出力に加えるテキストバイパス機構を採用し、エンコーダ構造を変更せずに表現能力を向上させる。
• マッパーの隠れ表現に対してドロップアウトベースの重要度順序付けを用いることで、推論時に再構築品質と編集可能性の両方を動的に制御可能にする。
• 標準的な最適化を用いてマッパーを学習する。Textual Inversionと同様の手法だが、より洗練された $\mathcal{P}^*$ 空間で行うため、高精細な概念のインジェクションが可能になる。
• 時間と空間の両方の条件付けの重要性を検証するためのアブレーションスタディを実施し、ステップごとの概念学習プロセスの進行を分析する。

実験結果

リサーチクエスチョン

• RQ1 時間と空間に依存する共同空間時間表現 ($\mathcal{P}^*$) が、テキストから画像へのパーソナライゼーションにおける視覚的精細度と編集可能性を向上させることができるか？
• RQ2 数百のベクトルを直接最適化しないで、小さなニューラルマッパーを用いて高次元の $\mathcal{P}^*$ 空間を暗黙的に表現することは可能か？
• RQ3 テキストエンコーダ出力に残差を追加するテキストバイパスを導入することで、収束速度と視覚的精細度が顕著に向上するか？
• RQ4 マッパーの隠れ表現に対する重要度ベースの順序付けが、推論時に再構築品質と編集可能性のトレードオフを動的に制御可能か？
• RQ5 NeTIフレームワークにおいて、概念固有の詳細は、ノイズ除去の異なるステップでどのように現れるか？

主な発見

• NeTIは、忠実性とプロンプト適合性について5段階スケールで平均ユーザー評価3.97を達成し、Textual Inversion（2.77）、XTI（3.15）、DreamBooth（3.71）を顕著に上回る。
• 時間と空間の両方の条件付けの組み合わせが不可欠であることが判明した。アブレーションスタディでは、1つまたは両方の要因にのみ条件付けたモデルは、顕著に低い視覚的精細度を示した。
• テキストバイパス機構により収束速度と視覚的精細度が向上し、NeTIは生成モデルの微調整なしにDreamBoothなどの微調整手法と競合する精細度を達成した。
• ステップごとの分析では、初期ノイズ除去段階（$t=999$）で構造や色の粗い特徴が捉えられ、後期段階（$t=50$）でテクスチャーや彫刻のような細部が追加されることが明らかになった。
• 推論時に重要度ベースのドロップアウトスケジューリングを適用することで、再構築品質と編集可能性のトレードオフをユーザーが制御可能であり、強いドロップアウトではより抽象的で編集に適した表現が得られる。
• NeTIは、多様なプロンプトにおいて、高精細で制御可能なパーソナライズド・コンセプトの合成を可能にした。例えば、'$S_*$ のスタイルを模した中世の城の絵画' や、'$S_*$ のスタイルを模したポケモン' といった複雑なスタイルも含む。