[論文レビュー] Concept Algebra for (Score-Based) Text-Controlled Generative Models

Zihao Wang, Lin Gui+2 more|arXiv (Cornell University)|Feb 7, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、テキストから画像への拡散モデルのスコアベース表現空間内に、高レベルの概念（例：性別、芸術的スタイル）を部分空間として同定する数学的枠組み「コンセプト代数」を導入する。テキスト条件付き分布のスティーンスコアを算術的に合成可能な表現として活用することで、投影とベクトル演算を用いた正確な代数的操作が可能となり、Stable Diffusionにおけるヒューリスティック手法よりも優れた分離性を示した。

ABSTRACT

This paper concerns the structure of learned representations in text-guided generative models, focusing on score-based models. A key property of such models is that they can compose disparate concepts in a `disentangled' manner. This suggests these models have internal representations that encode concepts in a `disentangled' manner. Here, we focus on the idea that concepts are encoded as subspaces of some representation space. We formalize what this means, show there's a natural choice for the representation, and develop a simple method for identifying the part of the representation corresponding to a given concept. In particular, this allows us to manipulate the concepts expressed by the model through algebraic manipulation of the representation. We demonstrate the idea with examples using Stable Diffusion. Code in https://github.com/zihao12/concept-algebra-code

研究の動機と目的

• テキスト制御生成モデルの表現空間内に、性別や芸術的スタイルといった高レベルの概念が部分空間としてどのようにエンコードされているかを形式化すること。
• テキスト条件付き分布のスティーンスコアを、算術的に合成可能で概念の代数的操作を可能にする表現として確立すること。
• スコアベースの拡散モデルの潜在空間内において、概念固有の部分空間を特定・編集する体系的な手法を開発すること。
• コンセプト代数が、ヒューリスティックなスコア編集手法よりも効果的かつ独立した概念操作を可能にすることを実証すること。
• テキストから画像生成における概念分離の理解と制御を統合的に可能にする数学的枠組みを提供すること。

提案手法

• 意味的に意味のある属性を捉える潜在変数 C を用いて、データ生成プロセスをモデル化することで、概念を表現空間内の部分空間として形式化する。
• スティーンスコアを、テキスト条件付き分布のスコア表現として定義し、算術的に合成可能であり、コンセプト代数に適していることが示された。
• 投影演算子（例：projₜ）を用いて、特定の概念部分空間を分離・操作し、その方向に沿って表現ベクトルを編集する。
• 「女性の看護師」と「男性の看護師」などの参照プロンプトを用いて、「性別」のような概念に対応する方向を推定する。
• (I - projₜ) + projₜ·(α·s₁ + (1−α)·s₂) のような代数的演算を適用し、プロンプト間で概念を補間または移行させながら、他の属性を保持する。
• Stable Diffusion上で、特定の概念を独立して編集できる画像生成を実施し、定性的および比較的評価を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 性別や芸術的スタイルといった高レベルの概念が、スコアベースのテキストから画像へのモデルの表現空間内に部分空間として正式にモデル化可能か？
• RQ2 テキスト条件付き分布のスティーンスコアは、算術的に合成可能であり、概念の代数的操作を可能にする表現か？
• RQ3 微調整を必要とせずに、わずかな参照プロンプトのみで、概念部分空間を信頼性高く特定・編集可能か？
• RQ4 負のプロンプトなどのヒューリスティックなスコア編集手法と比較して、コンセプト代数は分離性と制御の正確性において優れているか？
• RQ5 「被写体」や「シーン」のような抽象的概念は、このフレームワークを用いてゼロショット設定でも効果的に操作可能か？

主な発見

• テキスト条件付き分布のスティーンスコアは、算術的に合成可能な表現として機能し、概念の線形代数的操作を可能にする。
• 「性別」や「芸術的スタイル」のような概念は、表現空間内に識別可能な部分空間としてエンコードされており、投影操作による正確な編集が可能である。
• 本手法は、画像生成において「被写体」のような抽象的概念を効果的に操作でき、たとえば「おもちゃ」を「sksおもちゃ」に置き換える編集において、背景の文脈を保持していることが示された。
• 負のプロンプトなどのヒューリスティック手法よりも、コンセプト代数は特定の概念を意図せず他の属性に影響を与えることなく、より効果的かつ独立して変更可能である。
• 対応するプロンプトが直接的に概念を記述していなくても、本フレームワークは分布シフトに対して頑健であることを示し、概念の分離が有効に実現されている。
• 本手法は、Stable Diffusionで検証され、部分空間編集を通じて一貫性があり解釈可能な画像編集が実現しており、複数の概念タイプにわたり結果が可視化されている。