[論文レビュー] AGIQA-3K: An Open Database for AI-Generated Image Quality Assessment

Chunyi Li, Zicheng Zhang+6 more|arXiv (Cornell University)|Jun 7, 2023

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本稿では、6つの多様なテキストto画像モデルから得られた2,982枚のAI生成画像（AGI）を含む、AI生成画像（AGI）品質評価のための最大規模のオープンデータベース、AGIQA-3Kを紹介する。本研究では、知覚的品質およびテキストto画像整合性の細分化された主観的評価を確立し、既存の手法を著しく上回る性能を示す新規メトリックStairRewardを提案。特に、最も挑戦的なサブセットにおいて、PLCCが0.8713に達する。

ABSTRACT

With the rapid advancements of the text-to-image generative model, AI-generated images (AGIs) have been widely applied to entertainment, education, social media, etc. However, considering the large quality variance among different AGIs, there is an urgent need for quality models that are consistent with human subjective ratings. To address this issue, we extensively consider various popular AGI models, generated AGI through different prompts and model parameters, and collected subjective scores at the perceptual quality and text-to-image alignment, thus building the most comprehensive AGI subjective quality database AGIQA-3K so far. Furthermore, we conduct a benchmark experiment on this database to evaluate the consistency between the current Image Quality Assessment (IQA) model and human perception, while proposing StairReward that significantly improves the assessment performance of subjective text-to-image alignment. We believe that the fine-grained subjective scores in AGIQA-3K will inspire subsequent AGI quality models to fit human subjective perception mechanisms at both perception and alignment levels and to optimize the generation result of future AGI models. The database is released on https://github.com/lcysyzxdxc/AGIQA-3k-Database.

研究の動機と目的

• 異なるモデルやプロンプトを対象としたAI生成画像（AGI）の包括的で細分化された主観的品質データベースの不足に対処すること。
• AGIにおける知覚的品質およびテキストto画像整合性の標準化された大規模な主観的評価フレームワークを確立すること。
• 人間の知覚と比較して、既存の画像品質評価（IQA）モデルの性能をベンチマーク化し、性能ギャップを同定すること。
• テキストto画像整合性の目的的評価を向上させる新規メトリックStairRewardを提案・検証すること。
• 人間の知覚機構にさらに適合する将来のAGI品質モデルの基盤を提供すること。

提案手法

• 著者らは、GANベース、自己回帰型、拡散型アーキテクチャを含む6つの異なるテキストto画像モデルを用いて、さまざまなプロンプトとモデルパラメータで2,982枚のAGIを収集した。
• 知覚的品質およびテキストto画像整合性の両方について、標準化されたラボベースの主観実験を実施し、平均意見スコア（MOS）を収集した。
• 本データベースには、多様なスタイルやプロンプトの複雑さをカバーする多様な次元における細分化されたアノテーションが含まれており、広範な代表性を確保している。
• StairRewardは、プロンプトのセグメンテーションと画像パッチレベルの特徴解析を用いて、意味的整合性をよりよく捉える新しい整合性メトリックとして提案された。
• AGIQA-3K上でベンチマーク実験を実施し、客観的メトリックと人間の主観的スコアとの相関（SRoCC、KRoCC、PLCC）を評価した。
• StairRewardの各コンポonentの寄与度を検証するためのアブレーションスタディを実施し、単語レベルのセグメンテーションと画像パッチ処理の両方が重要であることを確認した。

実験結果

リサーチクエスチョン

• RQ1 既存のIQAモデルは、人間の主観的評価と比較して、AGIの知覚的品質およびテキストto画像整合性をどの程度適切に評価できるか？
• RQ2 現在のメトリックは、同じ生成モデル内での類似品質のAGIをどの程度明確に区別できるか？
• RQ3 AGIにおけるテキストto画像整合性の目的的評価を著しく向上させる新規メトリックを設計できるか？
• RQ4 どのコンポーネントが整合性評価性能の向上に最も重要であり、それぞれがどのように寄与しているか？
• RQ5 異なるプロンプトスタイルや画像コンテンツタイプにおいて、整合性メトリックの性能はどのように変動するか？

主な発見

• StairRewardは「スタイルなし」サブセットにおいてPLCCが0.8713を達成し、既存のメトリック（ImageReward: PLCC 0.7743、CLIP: PLCC 0.6867）を著しく上回った。
• 提案されたStairRewardは、全4つのプロンプト長サブセットですべてのベースラインメトリックを上回り、特に「抽象的・SF風」サブセットで最高のSRoCC（0.7682）およびPLCC（0.8468）を記録した。
• 既存の知覚ベースIQAモデルは人間の知覚と強い相関（PLCC > 0.7）を示したが、整合性モデルは著しく遅れを取っており、改善の必要性が顕著に示された。
• アブレーションスタディにより、プロンプトセグメンテーションと画像パッチレベル処理の両方が不可欠であることが確認され、いずれかのコンponentを削除すると全メトリックで性能が低下した。
• データベースの分析から、同じモデル内でもプロンプトやパラメータの違いにより画像品質が大きく変動することが明らかになった。これは、きめ細やかな評価ツールの必要性を強調している。
• AGIQA-3Kは、GAN、自己回帰型、拡散型モデルをカバーし、細分化された主観的評価を備えた、これまでで最も包括的で多様なAGI品質データベースを提供している。