[論文レビュー] Human Preference Score: Better Aligning Text-to-Image Models with Human Preference

Xiaoshi Wu, Keqiang Sun+3 more|arXiv (Cornell University)|Mar 25, 2023

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

この論文は Stable Diffusion の出力に対する人間が注釈した大量の好みデータセットを収集し、従来の指標は人間の選択をうまく予測しないことを示し、人間の好み分類子を訓練して Human Preference Score (HPS) を導出し、HPS を用いて Stable Diffusion をより人間の好みに適合させる画像を生成するよう適応させる。

ABSTRACT

Recent years have witnessed a rapid growth of deep generative models, with text-to-image models gaining significant attention from the public. However, existing models often generate images that do not align well with human preferences, such as awkward combinations of limbs and facial expressions. To address this issue, we collect a dataset of human choices on generated images from the Stable Foundation Discord channel. Our experiments demonstrate that current evaluation metrics for generative models do not correlate well with human choices. Thus, we train a human preference classifier with the collected dataset and derive a Human Preference Score (HPS) based on the classifier. Using HPS, we propose a simple yet effective method to adapt Stable Diffusion to better align with human preferences. Our experiments show that HPS outperforms CLIP in predicting human choices and has good generalization capability toward images generated from other models. By tuning Stable Diffusion with the guidance of HPS, the adapted model is able to generate images that are more preferred by human users. The project page is available here: https://tgxs002.github.io/align_sd_web/ .

研究の動機と目的

• 共通のプロンプトで生成された画像に対する大規模な人間の選択データセットを作成する。
• 既存の指標（IS、FID、CLIP）が人間の好みとどの程度相関するかを評価する。
• データセットでファインチューニングされた人間の好み分類器を開発して HPS を導出する。
• HPS が Stable Diffusion の適応を導くことで、より人間の好みになる画像を生成できることを実証する。

提案手法

• 複数の生成画像と1つの好ましい画像を用いた prompts で CLIP ViT-L/14 をファインチューニングして人間の好み分類器を訓練する。
• HPS を、人間の好み分類器から得られる視覚・テキスト埋め込みのコサイン類似度の100倍として定義する。
• 分類器を用いて好ましい画像と非好ましい画像のペアをラベリングすることで訓練データセットを構築する。
• LoRA を用いて Stable Diffusion を適応させ、好ましい/非好ましい画像をペアにした訓練データを作成し、非好ましいキャプションを先頭に付けてアーティファクトを避けるようモデルを誘導する。
• 推論時には分類器フリーガイダンスでネガティブプロンプトとして特別な識別子を用い、非好ましい出力を避ける。

Figure 1: Generated images often do not align well with human preferences and intentions. Input prompts are shown below images.

実験結果

リサーチクエスチョン

• RQ1 生成された画像に対する標準的な指標（IS、FID、CLIP）は人間の好みとどの程度相関するか？
• RQ2 大規模な注釈データセットで訓練された人間の好み分類器は、CLIP 単独よりも人間の選択をより正確に予測できるか？
• RQ3 人間の好みに導かれた目的関数を用いて Stable Diffusion を適応させ、より好まれる画像を生成できるか？
• RQ4 HPS は Stable Diffusion 以外の他のテキスト-to-画像モデルにも一般化するか？

主な発見

指標	SD 1.4	Adapted model
FID	19.72	19.35
Aesthetic Score	5.90	6.06
CLIP Score	0.2816	0.2831
HPS	0.1898	0.1916

• IS、FID、CLIP のスコアはデータセット上の人間の選択と完全には一致しない。
• ファインチューニングされた CLIP ベースの人間の好み分類器は、CLIP 単独より人間の選択との一致度が高い。
• HPS は人間の好みと相関し、他モデルの画像にも一般化できる（例: DALL·E、Stable Diffusion）。
• HPS によって導かれる LoRA で Stable Diffusion を適応させると、アーティファクトが少なく、ユーザ調査での人間の好みが高まる画像が得られる。
• 定量的比較では、適応 SD v1.4 モデルは基準（SD v1.4）と比較して FID が低く、Aesthetic Score および CLIP/HPS 指標が高い。

Figure 3: Examples of the collected data. The images are generated by Stable Diffusion, with corresponding prompts shown below each row of images. The preferred images are highlighted with red borders. More examples can be found in the appendix.