[論文レビュー] Imagen 3

Imagen-Team-Google, :+260 more|arXiv (Cornell University)|Aug 13, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用数 3

ひとこと要約

Imagen 3 は、優れた写真的リアリズムとプロンプトへの適合性を備えた高解像度（1024×1024）テキスト対画像出力を生成する最先端の潜在拡散モデルです。Gemini モデルから生成された合成キャプションを用いてフィルタリングされ多様なデータセットで訓練された本モデルは、人間による評価において DALL·E 3 や Stable Diffusion 3 よりも優れており、全体的な好み、視覚的品質、プロンプト・画像整合性の各分野で最高の Elo スコアを達成しています。

ABSTRACT

We introduce Imagen 3, a latent diffusion model that generates high quality images from text prompts. We describe our quality and responsibility evaluations. Imagen 3 is preferred over other state-of-the-art (SOTA) models at the time of evaluation. In addition, we discuss issues around safety and representation, as well as methods we used to minimize the potential harm of our models.

研究の動機と目的

• 複雑な自然言語プロンプトから高精細で詳細な画像を生成できるテキスト対画像拡散モデルの開発。
• 特に構成的・スタイル的詳細において、長く複雑なプロンプトと生成画像の内容との整合性を向上させること。
• 訓練中に有害なデータをフィルタリングし、バイアスや過学習を最小限に抑えることで、安全で責任ある生成を確保すること。
• 最先端モデルとの厳密な人間および自動評価を通じて、テキスト対画像生成分野における新たなベンチマークを確立すること。
• 複数段階のデータフィルタリング、重複除去、責任あるデータソースの取り組みにより、潜在的な有害出力を最小限に抑えること。

提案手法

• 実画像、オリジナルキャプション、Gemini モデルから生成された合成キャプションを含む大規模で複数段階のフィルタリング処理を施したデータセット上で潜在拡散モデルを訓練する。
• 危険な内容、低品質、AI 生成画像を除去し、重複除去および重み付けの低減によりデータの冗長性を低減するための複数段階のデータフィルタリングパイプラインを適用する。
• 多様な指示を用いて複数の Gemini モデルで合成キャプションを生成し、言語的多様性と品質を向上させる。
• 側面比較の人間評価を実施し、Elo スコアを用いて、全体的な好み、プロンプト・画像整合性、視覚的魅力、詳細適合性、数値的推論の5つの質的側面でモデル出力を比較する。
• GenAI-Bench や DOCCI-Test-Pivots、GeckoNum といった外部ベンチマークを用いて、汎化能力および推論能力を評価する。
• 外部モデルの公開 API を通じて評価を実施し、DALL·E 3 の場合はリリース済み画像を用いることで、一貫性と公平性を確保する。

実験結果

リサーチクエスチョン

• RQ1 Imagen 3 は、複数の質的次元において人間評価で他の最先端モデルを上回る画像を生成できるか？
• RQ2 特に長文で複雑な記述において、Imagen 3 は詳細なプロンプト・画像整合性をどの程度維持できるか？
• RQ3 指定されたオブジェクトの数を正確に描写するような数値的推論タスクにおいて、Imagen 3 はどの程度の性能を示すか？
• RQ4 複数段階のデータフィルタリングと合成キャプション生成は、バイアス低減とモデルの汎化能力向上にどのような影響を与えるか？
• RQ5 有害またはそのような出力を助長する可能性のある出力を最小限に抑えるための安全性と責任ある取り組みは、どの程度効果的か？

主な発見

• GenAI-Bench ベンチマークにおいて、Imagen 3 は全体的な好みで最高の Elo スコア（1,115）を記録し、DALL·E 3（1,078）や Stable Diffusion 3.5 Large（1,059）を大きく上回りました。
• 視覚的品質の評価では、Imagen 3-002 が 1,135 の Elo スコアを達成し、DALL·E 3（1,112） や Stable Diffusion 3.5 Large（1,104）を上回りました。
• プロンプト・画像整合性の評価では、Imagen 3-002 が GenAI-Bench セットで 1,106 のスコアを記録し、DALL·E 3（1,066） や Midjourney v6（1,063） を上回りました。
• GeckoNum ベンチマークでは、Imagen 3 は複雑なシーンにおけるオブジェクト数の正確な描写という数値的推論能力を強く示し、高い正確性を達成しました。
• DOCCI-Test-Pivots を用いた詳細適合性タスクでは、Imagen 3 がプロンプトからの複雑な構成的要素を効果的に維持する能力を示しました。
• 人間のレーティング担当者は、すべての評価セットで一貫して Imagen 3 を好んでおり、3,225 名の異なるレーティング担当者から合計 366,000 件以上のレーティングを収集することで、信頼性を高め、バイアスの低減を図りました。