[論文レビュー] Automatic Assessment of Artistic Quality of Photos

Ashish Verma, Kranthi kumar Reddy Koukuntla+2 more|arXiv (Cornell University)|Apr 17, 2018

Visual Attention and Saliency Detection参考文献 19被引用数 3

ひとこと要約

本稿では、構図、照明、色の配置、ぼやけ具合、コントラストなどの低レベル・ミドルレベル・ハイレベルの視覚的特徴を分析することで、写真の芸術的品質を評価するMLPベースのモデルを提案する。システムは1〜10の品質スコアを付与し、プロが撮影した写真とアマチュアが撮影した写真を区別する際の全体的な正確度が87%に達し、プロの写真のスコアは著しく高い水準に達している。

ABSTRACT

This paper proposes a technique to assess the aesthetic quality of photographs. The goal of the study is to predict whether a given photograph is captured by professional photographers, or by common people, based on a measurement of artistic quality of the photograph. We propose a Multi-Layer-Perceptron based system to analyze some low, mid and high level image features and find their effectiveness to measure artistic quality of the image and produce a measurement of the artistic quality of the image on a scale of 10. We validate the proposed system on a large dataset, containing images downloaded from the internet. The dataset contains some images captured by professional photographers and the rest of the images captured by common people. The proposed measurement of artistic quality of images provides higher value of photo quality for the images captured by professional photographers, compared to the values provided for the other images.

研究の動機と目的

• 写真の芸術的品質に基づいて、プロが撮影したかアマチュアが撮影したかを自動的に予測するシステムを開発すること。
• 構図、照明、色の配置、ぼやけ具合、コントラストといった、芸術的品質に関連する重要な視覚的特徴を特定・統合すること。
• 1〜10のスケールで定量的な芸術的品質スコアを割り当てるためのマルチレイヤーパーセプトロン（MLP）モデルを訓練すること。
• 7つのカテゴリーにわたる、プロと非プロが撮影した多様な写真からなる大規模なデータセットを用いてモデルを検証すること。
• 分類正確度の向上と、スケーラブルで自動化された写真品質評価の実現を目的として、先行研究を改善すること。

提案手法

• 構図、照明、色の配置、ぼやけ具合、コントラストに対応する低レベル・ミドルレベル・ハイレベルの画像特徴を抽出した。
• すべての特徴を正規化し、トレーニング中に等しい寄与度が得られるようにした。
• 二値ラベル付け方式を用いてMLPをトレーニングした：プロの写真を高品質（ラベル1）とし、アマチュアの写真を低品質（ラベル0）とした。
• 閾値ベースの分類戦略を採用し、θを2から9まで0.5刻みで変化させて最適な品質閾値を特定した。
• 7つの写真カテゴリーで、正確度、ROC曲線、AUCスコアを用いて性能を評価した。
• 将来の拡張として、ラベルなしデータを活用して効率を向上させるための半教師あり学習を適用した。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、芸術的品質に基づいて、プロが撮影した写真と非プロが撮影した写真を効果的に区別できるか？
• RQ2 低レベルおよびミドルレベルの視覚的特徴のうち、写真の受容的芸術的品質と最も強く相関するものは何か？
• RQ3 MLPベースのモデルは、画像に対して連続的な芸術的品質スコア（1〜10）をどれほどうまく割り当てられるか？
• RQ4 モデルの出力スコアに基づいて、画像を高品質または低品質に分類する最適な閾値は何か？
• RQ5 モデルの性能は、風景、人物、夜間写真などの異なる写真カテゴリーでどのように変動するか？

主な発見

• 提案手法は、テストセットにおいて全体で87%の分類正確度を達成し、先行研究比で6%の向上を示した。
• 最高の正確度はθ = 4の閾値で達成され、モデルが高品質と低品質の画像を最もよく区別できた。
• ROC AUCスコアは0.7298（夜間）から0.9013（人物）の範囲にあり、カテゴリー間で優れた識別性能を示した。
• 図1および表IIで示されるように、モデルはプロの写真に対してアマチュアの写真よりも著しく高い品質スコアを割り当てた。
• 誤検出（偽陽性）と誤検出（偽陰性）は、主にプロの写真における選択的ぼやけや、鮮明でうまく構図されたアマチュア写真といった異常事象に起因していた。
• 人物ポートレートでは最高の正確度（93%）を示し、動物、静止物、植物のカテゴリーでも強力な性能（89–91%）を示した。