[論文レビュー] Editing Implicit Assumptions in Text-to-Image Diffusion Models

Hadas Orgad, Bahjat Kawar+1 more|arXiv (Cornell University)|Mar 14, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文では、テキスト対画像拡散モデルにおける暗黙の世界観の仮定を、モデルのパラメータのわずか2.2%を変更するだけで、非常に効率的に編集する方法であるTIME（Text-to-Image Model Editing）を提案する。この手法は、ソースプロンプト（例：'バラの群れ'）を宛先プロンプト（例：'青いバラの群れ'）に一致させるために、クロスアテンションの投影行列を編集する。これにより、1台のGPUで1秒未塔の高速で、忘却を伴わない編集が可能となり、生成品質を維持するとともに、関連するプロンプトへの一般化も可能である。

ABSTRACT

Text-to-image diffusion models often make implicit assumptions about the world when generating images. While some assumptions are useful (e.g., the sky is blue), they can also be outdated, incorrect, or reflective of social biases present in the training data. Thus, there is a need to control these assumptions without requiring explicit user input or costly re-training. In this work, we aim to edit a given implicit assumption in a pre-trained diffusion model. Our Text-to-Image Model Editing method, TIME for short, receives a pair of inputs: a "source" under-specified prompt for which the model makes an implicit assumption (e.g., "a pack of roses"), and a "destination" prompt that describes the same setting, but with a specified desired attribute (e.g., "a pack of blue roses"). TIME then updates the model's cross-attention layers, as these layers assign visual meaning to textual tokens. We edit the projection matrices in these layers such that the source prompt is projected close to the destination prompt. Our method is highly efficient, as it modifies a mere 2.2% of the model's parameters in under one second. To evaluate model editing approaches, we introduce TIMED (TIME Dataset), containing 147 source and destination prompt pairs from various domains. Our experiments (using Stable Diffusion) show that TIME is successful in model editing, generalizes well for related prompts unseen during editing, and imposes minimal effect on unrelated generations.

研究の動機と目的

• トレーニングデータから誤った、古くなった、あるいはバイアスがかかる暗黙の仮定を学習してしまうテキスト対画像拡散モデルの問題に対処すること。
• 再訓練や微調整、各生成ごとの明示的ユーザー入力を必要とせずに、これらの仮定を編集できるようにすること。
• 全体の生成品質を維持し、深刻な忘却を避ける一方で、モデルパラメータのわずかな部分（少数）のみを変更する手法を開発すること。
• 多様なドメインや概念をカバーするモデル編集性能の評価に適したベンチマークデータセット（TIMED）を構築すること。
• 編集が関連するプロンプトに一般化される一方で、関係のない生成には影響を与えないようにすること。

提案手法

• TIMEは、拡散モデルのクロスアテンション層内の投影行列を編集し、テキストトークンを視覚的特徴にマッピングする。
• ソースプロンプトの埋め込みと宛先プロンプトの埋め込みとの間の距離を最小化するパラメータ更新を計算する。
• 学習されたハイパーパrameter λp を用いて、編集強度と元の重みの忠実度のバランスをとる1ステップの最適化を実行する。
• 編集はすべてのクロスアテンション層で並列に適用され、微調整やデータ再収集を必要としない。
• テキストエンコーダーは変更されないため、言語理解能力が保持される。
• 計算が非常に効率的であり、拡散モデルのパラメータのわずか2.2%を変更し、コンsumer GPUで1秒未塔で完了する。

実験結果

リサーチクエスチョン

• RQ1 テキスト対画像拡散モデルにおける暗黙の仮定を、再訓練や微調整なしに効率的に編集できるか？
• RQ2 編集時に見られなかった関連プロンプトへの一般化はどの程度うまくいくか？
• RQ3 編集プロセスが、モデル全体の生成品質および関係のないプロンプトでのパフォーマンスを維持しているか？
• RQ4 性別ステレオタイプ（職業表現における）を緩和するのに、この手法はどの程度効果的か？
• RQ5 特定の属性（例：バラの色）のモデル行動を変更する際、忠実度を維持しながらどの程度効果的に動作するか？

主な発見

• TIMEはStable Diffusionにおいて暗黙の仮定を効果的に編集し、ステレオタイプ的に男性職業とされる職業における女性の割合を、ベースラインの1.6%から平均で11.2%に削減した。ほとんどの職業でΔpは0.15以下であった。
• 『看護師』という職業では、ベースラインで女性が100%であったが、編集後は92.0%に低下し、Δp = 0.83 ± 0.05であった。
• この手法は良好に一般化される：編集で『バラ』を青くした後、『バラの群れ』のような関連プロンプトは青いバラを生成するが、『マツヨウゲンの群れ』のような無関係なプロンプトは変化しない。
• 編集は非常に効率的であり、モデルのパラメータのわずか2.2%を変更し、1台のコンsumer GPUで1秒未塔で完了する。
• FIDスコアは編集後も安定しており、画像品質や生成能力の低下は認められなかった。
• TIMEDデータセットの147組のプロンプトペアにおいて、この手法は顕著なバイアス緩和を達成し、関係のない生成への影響は最小限に抑えられた。