[論文レビュー] Personalized Image Aesthetics Assessment with Rich Attributes

Yuzhe Yang, Liwu Xu+5 more|arXiv (Cornell University)|Mar 31, 2022

Olfactory and Sensory Function Studies被引用数 4

ひとこと要約

本稿では、438名の被験者によってアノテートされた31,220枚の画像を含む大規模なパーソナライズド画像アート評価データベース、PARAを紹介する。このデータベースは、9つの画像指向の客観的属性と4つの人間指向の主観的属性を備えている。本稿では、被験者の特徴を事前知識として用いる条件付きPIAAモデルを提案し、ベースラインモデルを上回る性能を示した。これにより、豊富で多様なアノテーションを活用した、より正確なパーソナライズドアート嗜好のモデリングが可能になった。

ABSTRACT

Personalized image aesthetics assessment (PIAA) is challenging due to its highly subjective nature. People's aesthetic tastes depend on diversified factors, including image characteristics and subject characters. The existing PIAA databases are limited in terms of annotation diversity, especially the subject aspect, which can no longer meet the increasing demands of PIAA research. To solve the dilemma, we conduct so far, the most comprehensive subjective study of personalized image aesthetics and introduce a new Personalized image Aesthetics database with Rich Attributes (PARA), which consists of 31,220 images with annotations by 438 subjects. PARA features wealthy annotations, including 9 image-oriented objective attributes and 4 human-oriented subjective attributes. In addition, desensitized subject information, such as personality traits, is also provided to support study of PIAA and user portraits. A comprehensive analysis of the annotation data is provided and statistic study indicates that the aesthetic preferences can be mirrored by proposed subjective attributes. We also propose a conditional PIAA model by utilizing subject information as conditional prior. Experimental results indicate that the conditional PIAA model can outperform the control group, which is also the first attempt to demonstrate how image aesthetics and subject characters interact to produce the intricate personalized tastes on image aesthetics. We believe the database and the associated analysis would be useful for conducting next-generation PIAA study. The project page of PARA can be found at: https://cv-datasets.institutecv.com/#/data-sets.

研究の動機と目的

• 既存のパーソナライズド画像アート評価（PIAA）データベースにおけるアノテーションの多様性の不足、特に被験者レベルの主観的属性を捉えていない点を是正すること。
• 画像レベルの客観的属性と人間レベルの主観的属性を両方反映することで、個別化されたアート嗜好を捉える包括的で大規模なPIAAデータベースを構築すること。
• 被験者特性（例：性格、経験）とアート判断の関係を、被験者情報の脱識別化を前提として、より深い分析を可能にすること。
• 被験者属性を事前知識として活用する条件付きPIAAモデルの開発と検証を行い、パーソナライズドアート予測の性能向上を図ること。
• 次世代PIAA研究を支援するベンチマークおよび基盤データセットを提供すること。

提案手法

• 著者らは、438名の被験者によって31,220枚の画像をアノテートした。各画像は平均25.87件のアノテーションが付けられ、13の次元（例：構図、色彩、光）にわたる9つの客観的画像属性と、（例：コンテンツ好ましさ、感情、共有意欲）にわたる4つの主観的ヒューマン属性を含む。
• ユーザーのポータレートと嗜好モデリングを支援するため、年齢、性別、教育、性格特性、芸術的・写真経験といった脱識別化された被験者情報が収集された。
• 深層ニューラルネットワークバックボーン（例：ResNet-50）の最終層特徴と結合することで、被験者属性を条件付き事前知識として組み込む条件付きPIAAモデルを提案した。
• 各被験者に対して10ショットおよび100ショットのサポートセットでモデルをファインチューニングし、SROCCおよびPLCC指標を用いてクエリセットで性能を評価した。
• 40名のランダムに選択されたテスト被験者を対象に10フォールド交差検証を実施し、10回のランダムなデータ分割の平均を取ることで、結果の信頼性を確保した。
• 本手法では、被験者事前知識を含む条件付きPIAA（条件付き）と、それを含まない非条件付きPIAA（非条件付き）を比較し、同じバックボーンとトレーニングプロトコルを用いた。

実験結果

リサーチクエスチョン

• RQ1 コンテンツ好ましさ、感情、共有意欲といった人間指向の主観的属性は、パーソナライズドアート嗜好を効果的に反映できるか？
• RQ2 性格特性、芸術的経験、写真経験といった被騢者特性は、画像アート判断にどの程度影響を与えるか？
• RQ3 深層学習モデルに被験者属性を条件付き事前知識として組み込むことで、ベースラインモデルを上回るパーソナライズドアート予測性能が向上するか？
• RQ4 個人に特化したデータ量（10ショット対100ショット）が、ファインチューニングされたPIAAモデルの性能に与える影響は何か？
• RQ5 提案されたPARAデータベースは、次世代PIAAモデルの評価に信頼できるベンチマークとして機能できるか？

主な発見

• 性格特性を事前知識として用いる条件付きPIAAモデルは、ResNet-50上でPLCC 0.7509、SROCC 0.7384を達成し、非条件付きベースライン（PLCC: 0.7419、SROCC: 0.7329）を上回った。
• 性格特性を条件付けたモデルは、PLCC 0.7509、SROCC 0.7384を達成し、非条件付きベースラインと比較してPLCCで0.009、SROCCで0.0055の向上を示した。
• 芸術的経験を事前知識として用いる条件付きモデルは、PLCC 0.7447、SROCC 0.7326を達成し、非条件付きグループと比較して一貫した改善が確認された。
• バックボーンのアブレーション実験では、Swin-TinyとSwin-SmallがPARAベンチマークで最高のGIAA性能を示し、それぞれPLCC 0.9331および0.9355を達成した。
• 100ショットデータでのファインチューニングは、10ショットデータよりも一貫して性能を向上させ、より多くの個人に特化したデータがモデルの一般化性能を向上させることを示唆した。
• 統計的分析により、感情、コンテンツ好ましさ、共有意欲といった主観的属性がアート判断と有意に相関していることが確認され、これらが嗜好のマッピングとしての有効性が裏付けられた。