[論文レビュー] ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation

Jiazheng Xu, Xiao Liu+6 more|arXiv (Cornell University)|Apr 12, 2023

Multimodal Machine Learning Applications被引用数 99

ひとこと要約

ImageReward は、テキストから画像への生成のための汎用的な人間の好み報酬モデルであり、Reward Feedback Learning (ReFL) と組み合わせて、人間の好みのフィードバックを用いて拡散モデルを直接調整します。

ABSTRACT

We present a comprehensive solution to learn and improve text-to-image models from human preference feedback. To begin with, we build ImageReward -- the first general-purpose text-to-image human preference reward model -- to effectively encode human preferences. Its training is based on our systematic annotation pipeline including rating and ranking, which collects 137k expert comparisons to date. In human evaluation, ImageReward outperforms existing scoring models and metrics, making it a promising automatic metric for evaluating text-to-image synthesis. On top of it, we propose Reward Feedback Learning (ReFL), a direct tuning algorithm to optimize diffusion models against a scorer. Both automatic and human evaluation support ReFL's advantages over compared methods. All code and datasets are provided at \url{https://github.com/THUDM/ImageReward}.

研究の動機と目的

• テキストから画像への生成と人間の嗜好の不一致に対処する。
• テキストから画像のタスクのための汎用的な人間の好み報酬モデルを作成する。
• 人間の判断に整合したスケーラブルな評価指標を提供する。
• 報酬スコアラーを用いて拡散モデルを直接最適化する方法（ReFL）を提案する。
• 既存の評価指標や調整法より改善を実証する。

提案手法

• プロンプト選択、テキスト-画像評価、画像ランキングを包含する体系的な人間の好みアノテーションパイプラインを開発し、137k件の比較データセットを構築する。
• BLIP backbone を用い、プロンプト画像ペアに対するランキングベースの損失を用いて報酬モデル（ImageReward）を訓練する。
• CLIP、Aesthetic、BLIP をスコアリングのベースラインとして評価し、人間の好みとのより優れた整合性を実証する。
• Reward Feedback Learning (ReFL) を提案する：ImageReward からの報酬を後半のデノイジングステップで逆伝播させて拡散モデルを直接微調整する。
• トレーニングを安定化させるために後半のデノイジングステップをランダムに用いてフィードバックを得、報酬損失と事前学習損失を組み合わせて正則化する。
• Stable Diffusion v1.4 に対して ReFL を実験的に検証し、他の調整手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 汎用的な報酬モデルは、テキストから画像への出力に関する人間の嗜好を信頼性高く捉えることができるか？
• RQ2 ImageReward は、既存の評価指標（CLIP、Aesthetic、BLIP）より人間の判断と整合しているか？
• RQ3 ReFL は、データ拡張や損失再加重のみに頼らず、報酬信号を直接用いて拡散モデルを改善できるか？
• RQ4 アノテーションパイプラインは、人間の嗜好データの品質と一致度にどのように影響するか？
• RQ5 ImageReward は、単一画像またはモデル全体の比較の自動評価指標として有効か？

主な発見

• ImageReward は、テキストから画像の合成における人間の嗜好を理解する能力で、CLIP、Aesthetic、BLIP をそれぞれ 38.6%、39.6%、31.6% 上回る。
• ImageReward は人間のランキングと一致し、モデル間およびサンプル間の区別性が、CLIP および FID のベースラインよりも優れている。
• ImageReward は、実際のユーザープロンプトに基づいてテキストから画像モデルを評価・ランキングする有望なゼロショット自動指標として機能する。
• ReFL は ImageReward のフィードバックを用いて拡散モデルを直接微調整し、複数のベースラインおよび代替調整法に対する人間評価で最高の性能を達成する。
• ReFL は、報酬モデルからの直接的な勾配フィードバックを提供することで、データ拡張や損失再加重のアプローチより有利であることを示す。
• デノイジングステップ全体で ImageReward のスコアを検討すると、後半のステップ（およそ 30 ステップ以上）で信頼できる人間の嗜好信号が現れ、効果的な後半ステップの調整を可能にする。