[論文レビュー] The Beauty of Capturing Faces: Rating the Quality of Digital Portraits

Мириам Реди, Nikhil Rasiwasia+2 more|arXiv (Cornell University)|Jan 28, 2015

Visual Attention and Saliency Detection参考文献 29被引用数 4

ひとこと要約

本論文は、10,000枚以上のデジタルで撮影されたポートレートを美しさスコアと被写体のデモグラフィック情報でアノテートした大規模データセットを用いて、ポートレート固有のフレームワークを提案する。ポートレート写真の原則に基づく新しい視覚的特徴を導入し、画像の質、照明、顔面特徴の鮮鋭さ、独自性が美しさの強力な予測要因であることを示した。これは、一般の美しさ分類器よりも16%以上の精度で優れている。

ABSTRACT

Digital portrait photographs are everywhere, and while the number of face pictures keeps growing, not much work has been done to on automatic portrait beauty assessment. In this paper, we design a specific framework to automatically evaluate the beauty of digital portraits. To this end, we procure a large dataset of face images annotated not only with aesthetic scores but also with information about the traits of the subject portrayed. We design a set of visual features based on portrait photography literature, and extensively analyze their relation with portrait beauty, exposing interesting findings about what makes a portrait beautiful. We find that the beauty of a portrait is linked to its artistic value, and independent from age, race and gender of the subject. We also show that a classifier trained with our features to separate beautiful portraits from non-beautiful portraits outperforms generic aesthetic classifiers.

研究の動機と目的

• デジタルメディアにおけるポートレートの普及にもかかわらず、ポートレートの美的評価に特化した計算フレームワークの不足に応えること。
• 年齢、性別、人種を含む被写体のデモグラフィック情報をアノテートした、大規模かつ多様なデジタルで撮影されたポートレートのデータセットを構築すること。
• 写真学の文献に裏付けられた、構図、照明、感情、独自性に焦点を当てた、ポートレート固有の視覚的特徴の設計と検証。
• 一般の美的分類器を上回る性能を示す、ポートレートを美的に美しいか否か分類する予測モデルの開発。
• 視覚的および構図的要因が、認識されたポートレート美にどの程度強く相関しているかを実証的に分析すること。

提案手法

• 著者らはAVAデータセットから10,000枚を超えるポートレートを収集・整備し、顔認識を用いて美しさスコアと被写体のデモグラフィック情報をアノテートした。
• ポートレート写真学の文献に基づき、画像コントラスト、露出、顔面特徴の鮮鋭さ、照明パターン、記憶性を含む、合計12種類の視覚的特徴を体系的に設計した。
• 特徴の重要度は、複数の特徴サブセットにおける統計的相関と分類性能を用いて分析した。
• 標準化された特徴を用いて、10-fold交差検証でRBFカーネルを用いたサポートベクターマシン（SVM）分類器を訓練し、正解率とF1スコアで性能を評価した。
• 構図、照明、感情などの複数の特徴グループを早期統合することで、分類のロバスト性を向上させた。
• アブレーションスタディでは、同じ訓練・テスト分割を用いて、一般の構成特徴と比較してポートレート固有の特徴の性能を検証した。

実験結果

リサーチクエスチョン

• RQ1 ポートレート写真の原則に基づく視覚的特徴のうち、認識されたポートレート美と最も強く相関するのはどれか？
• RQ2 年齢、性別、人種といったデモグラフィック要因は、ポートレートの美的質とどの程度相関しているか？
• RQ3 一般の画像カテゴリで訓練された一般向け美的分類器よりも、ポートレート固有の美的分類器は性能を上回れるか？
• RQ4 コントラスト、露出、顔面特徴の鮮鋭さといった画像品質指標は、ポートレート美の認識にどのように影響するか？
• RQ5 独自性と記憶性の特徴を組み込むことで、ポートレートの美的分類精度は向上するか？

主な発見

• 被写主の年齢、性別、人種は、美しさスコアとの相関がほとんどないか、まったくないため、ポートレートの美的質はこれらのデモグラフィック要因とは大きく独立している。
• ポートレートの美しさは技術的画像品質に強く関連しており、顔面特徴の鮮鋭さ、適切な露出、高いコントラストが高得点の強力な予測要因である。
• 照明パターン、画像の一様性、独自性が、顕著な識別的特徴であることが判明し、特に独自性が認識された美しさに顕著に寄与した。
• 提案されたポートレート固有の特徴セットは、大規模データセット上で64.24% ± 1.76%の分類精度を達成し、一般の美的分類器を16ポイント以上上回った。
• 特徴選択により性能が向上し、すべての特徴を早期統合することで最良の結果が得られた。これは、多様な視覚的手がかりが相補的であることを裏付けた。
• 曖昧な画像（δ = 0.5を用いて）を除外しても正解率は向上せず、学習に寄与しないことが示されたため、トレーニング時間を短縮するために除外可能である。