[論文レビュー] X-IQE: eXplainable Image Quality Evaluation for Text-to-Image Generation with Visual Large Language Models

Yixiong Chen, Liu, Li+1 more|arXiv (Cornell University)|May 18, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

X-IQE は視覚 LLM（MiniGPT-4 with Vicuna）を用いて、トレーニングなしで テキストから画像生成の画質の説明可能なテキスト説明を作成し、忠実度、整合性、 aesthetically を評価します。

ABSTRACT

This paper introduces a novel explainable image quality evaluation approach called X-IQE, which leverages visual large language models (LLMs) to evaluate text-to-image generation methods by generating textual explanations. X-IQE utilizes a hierarchical Chain of Thought (CoT) to enable MiniGPT-4 to produce self-consistent, unbiased texts that are highly correlated with human evaluation. It offers several advantages, including the ability to distinguish between real and generated images, evaluate text-image alignment, and assess image aesthetics without requiring model training or fine-tuning. X-IQE is more cost-effective and efficient compared to human evaluation, while significantly enhancing the transparency and explainability of deep image quality evaluation models. We validate the effectiveness of our method as a benchmark using images generated by prevalent diffusion models. X-IQE demonstrates similar performance to state-of-the-art (SOTA) evaluation methods on COCO Caption, while overcoming the limitations of previous evaluation models on DrawBench, particularly in handling ambiguous generation prompts and text recognition in generated images. Project website: https://github.com/Schuture/Benchmarking-Awesome-Diffusion-Models

研究の動機と目的

• 人間の評価や従来のモデルベースのスコアを超える、安価で一般化可能かつ説明可能な画像品質評価の必要性を動機づける。
• 視覚 LLM を用いて、AI が生成した画像の忠実度、整合性、 aesthetics を分析する説明可能でトレーニング不要の評価フレームワークを提案する。
• 専門家主導のプロンプト設計と階層的チェインオブソートを組み込み、偏りのない一貫性のある説明を実現する。
• 現実画像とAI生成画像の両方を対象とするベンチマークとして X-IQE を検証し、最先端指標と比較する。

提案手法

• 追加のトレーニングなしで評価を行うため、コア視覚-LM として MiniGPT-4（ViTベースのエンコーダー + Vicuna）を用いる。
• 画像品質分析のための美術専門家の基準をエンコードする専門家情報プロンプトを設計する。
• 階層的なチェインオブソート（CoT）フローを適用：忠実度評価が整合性評価を、整合性評価が美学評価を導く。タスク間で共有される画像説明を用いる。
• CoT 応答を安定させるために JSON 出力形式と明示的なスコアリング条件を強制する。
• タスク内・タスク間推論を専用の CoT で統合し、一貫性と prior analysis の再利用性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの視覚 LLM は、微調整なしで、テキストから画像生成の忠実度・整合性・美学の信頼できる説明可能評価を提供できるか。
• RQ2 階層的 CoT プロンプティング戦略は、従来の指標（例：CLIPScore や美学予測子）より人間の判断と相関する結果を生み出すか。
• RQ3 モデルサイズと温度は X-IQE の評価の安定性と一貫性にどのように影響するか。
• RQ4 X-IQE は実画像と AI 生成画像を区別でき、複数の拡散モデルとプロンプトにまたがる堅牢なベンチマークとなるか。

主な発見

• X-IQE は COCO Caption データ上で、人間の判断との相関が競合する、あるいは特定タスク向けモデルを上回ることがある。
• 専門家情報プロンプトを用いた階層的 CoT は、推論なしに直接スコアを求めるベースラインより評価品質と一貫性を向上させる。
• X-IQE は忠実度分布と関連する定性的例を通じて、実画像と AI生成画像を信頼性高く区別できる。
• X-IQE は整合性と美学スコアリングが人間の評価と相関し、 tested データセットでは CLIPScore および Aesthetic Predictor より高い相関を示す。
• より大きなモデル（13B Vicuna）と制御温度（0.1）により、評価がより安定・正確になることが示されており、このタスクにはより大きな視覚-LM のバックボーンの利用を支持する。
• X-IQE は透明でトレーニング不要のベンチマークフレームワークを提供し、複数の SOTA テキスト対画像モデル（例：Stable Diffusion 系、Openjourney、DeepFloyd-IF）を比較できる。