[論文レビュー] DisDiff: Unsupervised Disentanglement of Diffusion Probabilistic Models

Tao Yang, Yuwang Wang+2 more|arXiv (Cornell University)|Jan 31, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、アノテーションなしで表現を解体する能力を学習することで、事前学習済み拡散確率的モデル（DPM）を要因固有の部分勾配場に分離する非教師付きフレームワーク、DisDiffを提案する。分離された表現を用いて、分類器ガイドや新規の分離損失を用いて、解釈可能で要因固有の画像生成と部分的条件付きサンプリングを実現し、合成データおよび実世界データセットで最先端の分離性能を達成した。

ABSTRACT

Targeting to understand the underlying explainable factors behind observations and modeling the conditional generation process on these factors, we connect disentangled representation learning to Diffusion Probabilistic Models (DPMs) to take advantage of the remarkable modeling ability of DPMs. We propose a new task, disentanglement of (DPMs): given a pre-trained DPM, without any annotations of the factors, the task is to automatically discover the inherent factors behind the observations and disentangle the gradient fields of DPM into sub-gradient fields, each conditioned on the representation of each discovered factor. With disentangled DPMs, those inherent factors can be automatically discovered, explicitly represented, and clearly injected into the diffusion process via the sub-gradient fields. To tackle this task, we devise an unsupervised approach named DisDiff, achieving disentangled representation learning in the framework of DPMs. Extensive experiments on synthetic and real-world datasets demonstrate the effectiveness of DisDiff.

研究の動機と目的

• 拡散確率的モデル（DPM）における要因分離表現学習の欠如に取り組むこと。DPMは画像生成においては非常に効果的であるが、要因分離の観点では課題を有する。
• 人間によるアノテーションなしで、画像データの背後にある意味的要因を非教師付きで同定すること。
• DPMの勾配場を、各要因表現に条件付けられた部分勾配場に分解し、解釈可能で制御可能な生成を実現すること。
• VAEベースおよびGANベースの分離手法の限界、例えば分離度と生成品質のトレードオフ、GANにおける逆問題の必要性を克服すること。
• 拡散プロセスの全タイムステップにわたる分離制約を課すことで、新たなインダクティブバイアスを導入すること。

提案手法

• DisDiffは、拡散プロセス中の入力画像から、背後にある要因の分離表現をエンコーダーを用いて学習する。
• 各要因の表現に条件付けられた、要因固有の部分勾配場をデコーダーを用いて学習する。
• 新規の分離損失を用いて、要因固有の表現を促進すると同時に、入力画像の再構成を保証することで、分離を強制する。
• 分類器ガイドおよびスコアベースの条件付けを用いて、要因固有の条件を拡散プロセスに組み込む。
• 重み付き損失スキームを用い、タイムステップ間でのエンコーダー出力の差分を動的重み係数として用い、分離と再構成のバランスを取る。
• 異なる要因を区別するために、学習可能な直交位置埋め込みを用い、分離の安定性を向上させる。

Figure 2: Illustration of DisDiff. (a) Grey networks indicate the pre-trained Unet of DPM $\epsilon_{\theta}(x_{t},t)$ . Image $x_{0}$ is first encoded to representations $\{z^{1},z^{2},\dots z^{N}\}$ of different factors by encoder $E_{\phi}$ ( $N=3$ in the figure), which are then decoded by decode

実験結果

リサーチクエスチョン

• RQ1 事前学習済みDPMを、教師なしで要因固有の部分勾配場に分離できるか？
• RQ2 人間によるアノテーションや事前学習済み分類器なしで、分離された表現を学習できるか？
• RQ3 拡散プロセスの全タイムステップにわたる分離制約を課すことで、分離品質と生成の制御性が向上するか？
• RQ4 重ね合わせた部分勾配場を用いて、部分的条件付きサンプリング（一部の要因にのみ条件づけ）を効果的に実現できるか？
• RQ5 VAEベースおよびGANベースの既存手法と比較して、DisDiffは分離品質および生成忠実度の面で優れているか？

主な発見

• DisDiffは、アノテーションなしで、合成データ（Shapes3D）および実世界データ（CelebA）の両方で最先端の分離性能を達成した。
• 選択された部分勾配場のみを重ね合わせることで、部分的条件付きサンプリングが可能となり、物体の色や背景といった個々の要因の制御が可能になった。
• 除去実験では、エンコーダー出力の差分を重み係数として用いることで、定数または損失に基づく重み付けよりも顕著に分離性能が向上した。
• 学習可能な直交位置埋め込みを用いることで、位置埋め込みなしまたは標準的な学習可能埋め込みを用いた場合と比較して、分離性能が向上した。
• クロスアテンション層の使用は、要因1つあたり1つのトークンしか持たないため、表現能力が限られていることから、性能をわずかに低下させた可能性がある。
• 潜在ベクトルの数が要因数を超える範囲で設定された場合、性能にほとんど影響を及ぼさないことが示され、ハイパーパrameter選択に対して頑健であることが示された。

Figure 3: The qualitative results on Shapes3D and CelebA. The source (SRC) images provide the representations of the generated image. The target (TRT) image provides the representation for swapping. Other images are generated by swapping the representation of the corresponding factor. The learned fa