[論文レビュー] Consistency-diversity-realism Pareto fronts of conditional image generative models

Pietro Astolfi, Marlène Careil+6 more|arXiv (Cornell University)|Jun 14, 2024

Philosophy and History of ScienceArts and Humanities被引用数 3

ひとこと要約

本稿では、世界シミュレータとしての条件付き画像生成モデルを評価するフレームワークとして、一貫性・多様性・現実性のパレートフロントを導入する。テキストto画像および画像&テキストto画像モデルにおいて、ガイドラインスケール、事後フィルタリング、圧縮レートといったノブを分析することで、現実性／一貫性と表現多様性の間のトレードオフを明らかにし、最新モデルがより高い現実性と一貫性を求めるあまり多様性を犠牲にしているのに対し、LDM 1.5 や LMD 2.1 といった旧モデルはよりバランスの取れた多様性性能を示すことを示している。

ABSTRACT

Building world models that accurately and comprehensively represent the real world is the utmost aspiration for conditional image generative models as it would enable their use as world simulators. For these models to be successful world models, they should not only excel at image quality and prompt-image consistency but also ensure high representation diversity. However, current research in generative models mostly focuses on creative applications that are predominantly concerned with human preferences of image quality and aesthetics. We note that generative models have inference time mechanisms - or knobs - that allow the control of generation consistency, quality, and diversity. In this paper, we use state-of-the-art text-to-image and image-and-text-to-image models and their knobs to draw consistency-diversity-realism Pareto fronts that provide a holistic view on consistency-diversity-realism multi-objective. Our experiments suggest that realism and consistency can both be improved simultaneously; however there exists a clear tradeoff between realism/consistency and diversity. By looking at Pareto optimal points, we note that earlier models are better at representation diversity and worse in consistency/realism, and more recent models excel in consistency/realism while decreasing significantly the representation diversity. By computing Pareto fronts on a geodiverse dataset, we find that the first version of latent diffusion models tends to perform better than more recent models in all axes of evaluation, and there exist pronounced consistency-diversity-realism disparities between geographical regions. Overall, our analysis clearly shows that there is no best model and the choice of model should be determined by the downstream application. With this analysis, we invite the research community to consider Pareto fronts as an analytical tool to measure progress towards world models.

研究の動機と目的

• 画像品質や一貫性だけでなく、世界の多様性を表現する能力にも着目し、世界シミュレータとしての可能性を評価すること。
• ガイドラインスケール、事後フィルタリング、圧縮レートといった推論時ノブを用いて、一貫性、多様性、現実性の間のトレードオフを分析すること。
• この3つの目的において、最先端のテキストto画像および画像&テキストto画像モデルを比較し、パフォーマンスのトレードオフと歴史的傾向を同定すること。
• どのモデルも普遍的に最良ではないこと、モデル選定は下流の応用ニーズに従うべきであることを示すこと。
• 視覚的世界モデルへの進歩を測る新たな基準として、パレートフロント分析を提唱すること。

提案手法

• ガイドラインスケール、事後フィルタリング、圧縮レートといった推論時ノブを系統的に変化させることで、複数のモデルに対して一貫性・多様性・現実性のパレートフロントを構築する。
• 表現多様性を測定するためにサンプル間類似度とリCALLを、現実性を測定するために画像再構成品質と精度を、一貫性を測定するためにDavidsonianシーングラフスコアを用いる。
• MSCOCO検証セットおよび地理的多様性を持つGeoDEデータセットを用いて、地域的表現の不均衡を評価する。
• 3つのパフォーマンス軸にわたるパレート最適点を特定するために、多目的最適化フレームワークを採用する。
• LDM、RDM、PerCo などのオープンソースモデルと、可能な範囲で閉鎖型モデルを分析し、ノブ設定が3つの指標に与える影響に焦点を当てる。
• 一貫性・多様性、現実性・多様性、一貫性・現実性の3つのパレートフロントプロットを通じて、トレードオフを可視化する。

実験結果

リサーチクエスチョン

• RQ1 ガイドラインスケールや事後フィルタリングといった推論時ノブは、条件付き画像生成における一貫性、多様性、現実性のトレードオフにどのように影響するか？
• RQ2 一貫性、多様性、現実性の観点から、モデルパフォーマンスの歴史的進化はいかなるものか。旧モデルと新モデルの比較は？
• RQ3 学習データの地理的差異は、一貫性、多様性、現実性のパフォーマンスにどの程度影響を及ぼすか？
• RQ4 PerCo などの画像圧縮モデルは、現実性・多様性トレードオフの分析に有効なプロキシとして機能するか。ビットレートはこのバランスにどのように影響するか？
• RQ5 観察された現実性／一貫性と多様性のトレードオフは根本的であるのか。それとも将来のモデルがこれを克服できるのか？

主な発見

• LDM ${}_{\text{XL}}$ や LDM ${}_{\text{XL-Turbo}}$ といった最新モデルは、LDM 1.5 や LDM 2.1 といった旧モデルに比べ、現実性と一貫性は高めるが、表現多様性が著しく低下する。
• ラティントディフュージョンモデルの初版（LDM 1.5）は、GeoDEデータセットにおいて一貫性、多様性、現実性の3軸すべてで、より最近のモデルを上回るパフォーマンスを示しており、地域的表現の不均衡を示唆している。
• ガイドラインスケールを上げることで一貫性と現実性が向上するが、現実性の向上は一貫性の向上よりも早く飽和し、多様性はスケールが高くなるほど低下する。
• 事後フィルタリングはガイドラインスケールよりも一貫性と現実性の向上に効果的だが、多様性の大幅な低下を伴う。
• PerCoにおける圧縮レートを高める（bppを低くする）と多様性は向上するが、現実性は著しく低下し、一貫性にはほとんど影響しない。これは、詳細を犠牲にして意味的保存がなされていることを示唆している。
• 全評価モデルにおいて、現実性／一貫性と多様性の間で顕著なトレードオフが存在し、どのモデルも3つの目的を同時に最適化することはできない。