[論文レビュー] Transferring Rich Deep Features for Facial Beauty Prediction

Lu Xu, Jinhai Xiang+1 more|arXiv (Cornell University)|Mar 20, 2018

Face recognition and analysis参考文献 25被引用数 25

ひとこと要約

本論文は、事前学習されたVGGネットワークからの豊富な深層特徴を活用した転移学習アプローチを提案し、複数の畳み込み層からの特徴を統合し、ベイジアンリッジ回帰を適用することで顔の美的価値予測を実現する。この手法はECCV HotOrNotデータセットで最先端の性能（ピアソン相関係数0.468）を達成し、SCUT-FBPでも同等の結果を示しており、美的価値認識タスクにおける深層特徴の有効性と解釈可能性を裏付けている。

ABSTRACT

Feature extraction plays a significant part in computer vision tasks. In this paper, we propose a method which transfers rich deep features from a pretrained model on face verification task and feeds the features into Bayesian ridge regression algorithm for facial beauty prediction. We leverage the deep neural networks that extracts more abstract features from stacked layers. Through simple but effective feature fusion strategy, our method achieves improved or comparable performance on SCUT-FBP dataset and ECCV HotOrNot dataset. Our experiments demonstrate the effectiveness of the proposed method and clarify the inner interpretability of facial beauty perception.

研究の動機と目的

• 手作業で設計された記述子の代わりに、事前学習モデルからの豊富な深層特徴を活用することで、顔の美的価値予測を向上させること。
• 顔認識モデルからの深層特徴を用いて、転移学習の有効性を顔の美的価値認識タスクにおいて検証すること。
• 複数の畳み込み層出力の組み合わせを特徴とする新しい特徴統合戦略により、特徴表現を向上させること。
• 特徴の可視化と予測誤差の分析を通じて、顔の美的価値認識の解釈可能性を提供すること。
• 特に顔のアライメントを含む前処理技術の影響が予測性能に与える影響を評価すること。

提案手法

• 顔認識タスクで微調整された事前学習済みVGG-16モデルから、階層的かつ抽象的な表現を顔画像から抽出するため、豊富な深層特徴を転移する。
• conv5_2およびconv5_3層の特徴マップを連結することで、より情報量の多い高レベル特徴ベクトルを形成する。
• 連結された特徴マップをフラット化することで、回帰モデルへの入力に適したシンプルだが効果的な特徴統合戦略を適用する。
• 統合された深層特徴を入力として、ベイジアンリッジ回帰モデルを訓練し、連続的な顔の美的価値スコアを予測する。
• 2つの前処理戦略を実装する：Solution Aは68点のランドマーク検出と回転補正を含む顔のアライメントを実施する。Solution Bは平均値の差し引きと標準偏差の正規化のみを適用する。
• 予測バイアスの分析と誤分類サンプル（ε ≥ 2.75）および良好に適合したサンプル（ε ≤ 0.02）の特定のため、誤差指標 ε = |y^i − y^i| を使用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習された顔認識モデルから転移された深層特徴は、従来の手作業で設計された特徴（例：HOG、LBP）よりも顔の美的価値予測で優れた性能を示すか？
• RQ2 複数の畳み込み層にまたがる特徴統合は、単一層特徴と比較して性能をどのように向上させるか？
• RQ3 顔のアライメントや前処理技術は、モデルの予測精度にどのような影響を与えるか？
• RQ4 ベイジアンリッジ回帰は、深層特徴と顔の美的価値スコアの関係をどの程度効果的にモデル化できるか？
• RQ5 特徴の可視化と誤差分析を通じて、美的価値認識において最も影響力のある顔の属性や領域は何か？

主な発見

• 提案手法はECCV HotOrNotデータセットでピアソン相関係数0.468を達成し、自己符号化器やマルチスケールモデルを含む、比較されたすべての最先端手法を上回った。
• Solution B（顔のアライメントなし）はSolution A（アライメントあり）を顕著に上回り、RMSE（0.9036 vs. 0.9466）、MAE（1.1343 vs. 1.1962）、PC（0.4679 vs. 0.3918）の観点で優れた性能を示した。これは、衣装やポーズなどの顔以外の文脈要因が美的評価に影響を与えている可能性を示唆している。
• 予測誤差が小さいサンプル（ε ≤ 0.02）に対してモデルは最も良好に適合しており、高評価の顔に対して強い適合能力を示している。一方、大きな誤差（ε ≥ 2.75）は、複雑または曖昧な美的価値認識を捉えきれていない限界を示している。
• アブレーションスタディの結果、conv5_2およびconv5_3層からの特徴統合が表現品質を向上させ、単一層特徴よりも性能が向上することを確認した。
• 予測誤差の可視化により、ポーズ、表情、顔以外の属性が美的価値認識に顕著に影響を与えていることが明らかになったが、適切なアライメントがなければモデルはこれらを捉えきれていない。
• ベイジアンリッジ回帰の使用により、低分散の頑健な回帰が可能となり、広範な微調整なしにデータセット間で良好な一般化性能を示した。