[論文レビュー] Training Diffusion Models with Reinforcement Learning

Kevin Black, Michael Jänner+3 more|arXiv (Cornell University)|May 22, 2023

Generative Adversarial Networks and Image Synthesis被引用数 21

ひとこと要約

本論文は、拡散ノイズ除去を多段のMDPとして扱い、ダウンサイド報酬を直接最適化する DDPO（Denoising Diffusion Policy Optimization）を提案する。これにより報酬重み付き尤度法を上回り、テキストから画像への拡散モデルに対して視覚言語モデル（VLM）支援の報酬信号を有効にする。

ABSTRACT

Diffusion models are a class of flexible generative models trained with an approximation to the log-likelihood objective. However, most use cases of diffusion models are not concerned with likelihoods, but instead with downstream objectives such as human-perceived image quality or drug effectiveness. In this paper, we investigate reinforcement learning methods for directly optimizing diffusion models for such objectives. We describe how posing denoising as a multi-step decision-making problem enables a class of policy gradient algorithms, which we refer to as denoising diffusion policy optimization (DDPO), that are more effective than alternative reward-weighted likelihood approaches. Empirically, DDPO is able to adapt text-to-image diffusion models to objectives that are difficult to express via prompting, such as image compressibility, and those derived from human feedback, such as aesthetic quality. Finally, we show that DDPO can improve prompt-image alignment using feedback from a vision-language model without the need for additional data collection or human annotation. The project's website can be found at http://rl-diffusion.github.io .

研究の動機と目的

• 拡散モデルを厳密な尤度最適化ではなく、ダウンサイド目的の最適化を動機づけ・定式化する。
• 多段MDPとして枠組みられた denoising diffusion policy optimization (DDPO) を提案する。
• ポリシー勾配推定量がダウンサイド報酬関数を直接最適化できることを示す。
• 視覚言語モデルが自動報酬を提供し、プロンプトと画像の整合性を改善する方法を示す。
• DDPOを報酬重み付け法と複数の報酎関数・プロンプトにわたって評価する。

提案手法

• 拡散モデルの反復的なデノイジング過程を、状態 s_t = (c, t, x_t) および行動 a_t = x_{t-1} を用いる多段MDPにマップする。
• DDPMベースの報酬を最大化するために、ポリシー勾配推定量（スコア関数 / REINFORCE および信頼領域クリッピングを用いたIS変体）を使用する。
• DDPOの変種（DDPO_SF および DDPO_IS）を、下流目的のための報酬重み付け回帰（RWR）アプローチと比較する。
• 圧縮性、非圧縮性、美的品質、視覚言語モデルによる自動プロンプト整合性といったダウンサイド報酬関数を定義する。
• LLaVA などの VLM を活用して、プロンプト説明のための BERTScore のリコールなどの報酬を生成し、追加のラベリングなしで自動的なフィードバックを可能にする。

実験結果

リサーチクエスチョン

• RQ1 DDPO はダウンサイド目的の最適化において、報酬重み付け尤度法（RWR）より優れているか？
• RQ2 DDPO の変種は、画像の圧縮性、美的品質、プロンプトと画像の整合性といった多様な報酬関数に対して効果的か？
• RQ3 視覚言語モデルは追加の人間ラベリングなしで、信頼できる自動報酬を提供してプロンプト整合性を改善できるか？
• RQ4 微調整された拡散モデルは、訓練時に見ていないプロンプトへ一般化できるか？
• RQ5 データ効率と安定性の点で、DDPOの変種間にどのようなトレードオフがあるか？

主な発見

• DDPO は圧縮性、非圧縮性、美的品質タスクで RWR を上回る。
• DDPO の変種は、多段MDPの定式化と直接的なポリシー勾配推定から恩恵を受ける。
• 重要サンプリング with trust-region clipping（DDPO_IS）は、いくつかの設定でスコア関数（DDPO_SF）をわずかに上回る。
• VLM ベースの報酬は自動プロンプト整合を可能にし、見たことのないプロンプトでの整合性を追加ラベリングなしで改善する。
• 微調整は、訓練分布外のプロンプト（新しい動物・非動物オブジェクトを含む）やプロンプト整合の新規活動にも一般化する。
• RL微調整は、スタイル的に非自明な変化（美的観点の芸術作品風の出力など）を生み、明示的には最適化されていない。