[論文レビュー] Safe Latent Diffusion: Mitigating Inappropriate Degeneration in Diffusion Models

Patrick Schramowski, Manuel Brack+2 more|arXiv (Cornell University)|Nov 9, 2022

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

本稿では、潜在空間を操作することで、テキストから画像への拡散モデルにおける不適切な生成を抑止する、トレーニング不要で分類器フリーな手法であるSafe Latent Diffusion（SLD）を紹介する。新しいテストベッドであるInappropriate Image Prompts（I2P）を用いて、著者らは、露出や暴力といった不適切なコンテンツが画像品質やテキスト整合性を損なうことなく、効果的に抑制されることを実証した。

ABSTRACT

Text-conditioned image generation models have recently achieved astonishing results in image quality and text alignment and are consequently employed in a fast-growing number of applications. Since they are highly data-driven, relying on billion-sized datasets randomly scraped from the internet, they also suffer, as we demonstrate, from degenerated and biased human behavior. In turn, they may even reinforce such biases. To help combat these undesired side effects, we present safe latent diffusion (SLD). Specifically, to measure the inappropriate degeneration due to unfiltered and imbalanced training sets, we establish a novel image generation test bed-inappropriate image prompts (I2P)-containing dedicated, real-world image-to-text prompts covering concepts such as nudity and violence. As our exhaustive empirical evaluation demonstrates, the introduced SLD removes and suppresses inappropriate image parts during the diffusion process, with no additional training required and no adverse effect on overall image quality or text alignment.

研究の動機と目的

• フィルタリングされていない大規模データセットでトレーニングされたテキストから画像への拡散モデルにおける不適切で偏った生成の問題に対処すること。
• 実世界のユーザー生成プロンプトを用いて、Stable Diffusionのようなモデルにおける劣化や偏った行動のリスクを体系的に測定すること。
• 追加のトレーニングや外部分類器を必要とせず、有害なコンテンツを抑止するための緩和戦略を開発すること。
• 不適切なプロンプトの実世界のセットを専用のテストベッドとして用いることで、AI生成画像の倫理的影響を評価すること。
• モデルが内在する不適切さに関する知識を活用することで、拡散モデルの安全かつ責任ある展開のフレームワークを提供すること。

提案手法

• 生成プロセス中の潜在空間を変更することで、不適切な生成を抑止するSafe Latent Diffusion（SLD）を提案する。
• 3つの検出器による不適切さスコアが付与された、4,703件の実世界のテキストから画像へのプロンプトから構成される、新しいテストベッドであるInappropriate Image Prompts（I2P）を採用する。
• 微調整や外部分類器を必要とせず、事前学習中に学習されたモデルの内部表現（不適切さの認識）を活用する。
• 意味的整合性を保ちつつ、有害なコンテンツの生成を回避するためのノイズ除去ダイナミクスを調整する潜在空間編集技術を適用する。
• 重みに埋め込まれた道徳的規範やバイアスに関する既存の知識に依存することで、再トレーニングなしに倫理的干渉を可能にする。
• I2Pを用いて、多様な実世界のプロンプトにおいて不適切なコンテンツの抑制を定量的に評価する。

Figure 1 : Mitigating inappropriate degeneration in diffusion models. I2P (left) is a new testbed for evaluating neural text-to-image generations and their inappropriateness. Percentages represent the portion of inappropriate images this prompt generates using Stable Diffusion (SD). SD may generate

実験結果

リサーチクエスチョン

• RQ1 Stable Diffusionのような事前学習済みテキストから画像への拡散モデルは、見た目には中立的または明示的に不適切でないテキストプロンプトでも、不適切なコンテンツを生成する可能性があるか。
• RQ2 トレーニング不要で分類器フリーな手法が、画像品質やテキスト整合性を損なうことなく、拡散モデルにおける不適切な生成を効果的に抑止できるか。
• RQ3 Safe Latent Diffusion（SLD）は、多様で実世界のプロンプトセットにおいて、ベースラインモデルと比較して、明示的なコンテンツをどれほど効果的に抑止できるか。
• RQ4 モデルが内在する不適切さに関する知識が、外部検出器や微調整の必要なく、倫理的干渉に十分であるか。
• RQ5 I2Pのような標準化されたテストベッドは、拡散モデルにおける不適切な生成リスクを信頼性高く測定・ベンチマーク可能か。

主な発見

• I2Pテストベッドにより、Stable Diffusionが4,703件の実世界のプロンプトに対して不適切なコンテンツを生成することが判明した。これは、プロンプトに暴力や露出を明示的に記載していないケースでも同様に発生していた。
• SLDは、追加のトレーニングや外部分類器を必要とせず、I2Pベンチマーク全体で不適切な画像生成を効果的に抑止した。
• 本手法は高い画像品質と強いテキスト整合性を維持し、生成の忠実度や意味的正確性に顕著な劣化は認められなかった。
• SLDは、露出、暴力、差別的関連コンテンツなど、多様な不適切さのカテゴリにおいて、複数の検出器による検証を通じて、強力な抑制効果を示した。
• 本手法は、モデルが事前に学習済みの不適切さに関する知識に依存しており、微調整や外部モデル部品を一切不要としている。
• I2Pデータセットは、Hugging Face経由でMITライセンスの下で公開されており、今後の拡散モデルにおける安全性のベンチマークに活用可能である。

Figure 2 : Grounded in reporting bias, one can observe ethnic biases in DMs (left). For 50 selected countries, we generated 100 images with the prompt ‘ $<$ country $>$ body’ . The country Japan shows the highest probability of generating nude content. SLD uses the strong hyper parameter set to coun