[論文レビュー] Multi-task convolutional neural network for image aesthetic assessment

Derya Soydaner, Johan Wagemans|arXiv (Cornell University)|May 16, 2023

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

本論文では、共有表現を用いて、全体の画像美醜スコアと複数の美的属性（例：構図、奥行き、意味的意味）を同時に予測するマルチタスク畳み込みニューラルネットワークを提案する。モデルはAADBベンチマークで最先端の性能を達成し、人間水準に近いスピアマン順位相関（ρ = 0.707）を示し、EVAデータセットではより少ないパラメータで新たなベースラインを確立した。

ABSTRACT

As people's aesthetic preferences for images are far from understood, image aesthetic assessment is a challenging artificial intelligence task. The range of factors underlying this task is almost unlimited, but we know that some aesthetic attributes affect those preferences. In this study, we present a multi-task convolutional neural network that takes into account these attributes. The proposed neural network jointly learns the attributes along with the overall aesthetic scores of images. This multi-task learning framework allows for effective generalization through the utilization of shared representations. Our experiments demonstrate that the proposed method outperforms the state-of-the-art approaches in predicting overall aesthetic scores for images in one benchmark of image aesthetics. We achieve near-human performance in terms of overall aesthetic scores when considering the Spearman's rank correlations. Moreover, our model pioneers the application of multi-tasking in another benchmark, serving as a new baseline for future research. Notably, our approach achieves this performance while using fewer parameters compared to existing multi-task neural networks in the literature, and consequently makes our method more efficient in terms of computational complexity.

研究の動機と目的

• 全体の美的スコアと重要な美的属性を同時に学習することで、画像美的評価の性能を向上させる深層学習モデルの開発。
• 共有表現を用いたマルチタスク学習により、主観的で多因子的な美的好みの課題に取り組む。
• 2つの主要なベンチマーク（AADBとEVA）におけるモデルの性能と一般化能力の評価。
• マルチタスク学習が単一タスクアプローチと比較して性能と効率をどのように向上させるかを示す。
• モデルの複雑さを低減しつつ、美的スコア予測の新たな最先端手法を確立すること。

提案手法

• 入力RGB画像から階層的特徴を抽出するために、共有畳み込みバックボーンを用いる。
• 全体の美的スコアとK個の個別の美的属性スコアを予測するためのタスク固有のヘッドを複数採用する。
• すべての回帰タスクに対して平均二乗誤差を組み合わせた損失関数を用い、全体スコアと属性スコアを同時に最適化する。
• モデルの注目領域を解釈し、予測に影響を与える顕著な画像領域を特定するために、Grad-CAMを用いて特徴マップを可視化する。
• 画像-属性および画像-美的スコアのアノテーションを含むペairedデータ上で、エンドツーエンドにモデルを学習する。
• 一般化能力を評価するために、1つのデータセットで学習し、もう一方のデータセットでテストするクロスデータセット評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク畳み込みニューラルネットワークが、美的属性と全体スコアを同時に学習することで、画像美的評価の性能向上を図れるか？
• RQ2 マルチタスク学習は、単一タスク学習と比較して、予測精度とパラメータ効率の両面で優れているか？
• RQ3 本モデルは、AADBやEVAのような異なる画像美的ベンチマーク間で一般化できるか？
• RQ4 予測された属性スコアは、人間がアノテートしたスコアとどの程度順位相関するか？
• RQ5 計算コストを低く保ちながら、人間に近い性能を達成できるか？

主な発見

• 提案されたマルチタスクCNNは、AADBテストセットでスピアマン順位相関ρ = 0.707を達成し、新たな最先端の結果を樹立した。
• EVAデータセットでは、EVAで学習しAADBでテストした場合、クロスデータセット評価でρ = 0.695を達成し、逆のシナリオ（ρ = 0.441）を上回った。
• 構図と奥行き属性に関して、予測スコアと人間アノテーションの相関が最も高く（ρ = 0.97）、EVAデータセットにおける人間の相関に密接に一致した。
• 従来のマルチタスクアプローチよりも少ないパラメータで優れた性能を示し、深層学習におけるオッカムの剃刀の原則を支持した。
• 両方のデータセットにおいて、マルチタスク設定が単一タスクベースラインを一貫して上回り、共有表現学習の利点を確認した。
• Grad-CAMの可視化結果から、モデルが美的判断に影響を与える意味的に関連する画像領域（例：構図や被写体配置）に注目していることが確認された。