[論文レビュー] ComboLoss for Facial Attractiveness Analysis with Squeeze-and-Excitation Networks

Lu Xu, Jinhai Xiang|arXiv (Cornell University)|Oct 21, 2020

Face recognition and analysis参考文献 21被引用数 8

ひとこと要約

本論文では、L1回帰損失、重み付き交差エントロピー分類損失、期待値損失を組み合わせた新規のマルチコンポonent損失関数であるComboLossを提案する。SEResNeXt50ネットワークをComboLossで訓練することで、SCUT-FBP、HotOrNot、SCUT-FBP5500の各ベンチマークで最先端の性能を達成し、従来手法よりそれぞれ皮肉的相関（PC）を1.13%、2.1%、0.57%向上させた。パrameterの増加はほとんどない。

ABSTRACT

Loss function is crucial for model training and feature representation learning, conventional models usually regard facial attractiveness recognition task as a regression problem, and adopt MSE loss or Huber variant loss as supervision to train a deep convolutional neural network (CNN) to predict facial attractiveness score. Little work has been done to systematically compare the performance of diverse loss functions. In this paper, we firstly systematically analyze model performance under diverse loss functions. Then a novel loss function named ComboLoss is proposed to guide the SEResNeXt50 network. The proposed method achieves state-of-the-art performance on SCUT-FBP, HotOrNot and SCUT-FBP5500 datasets with an improvement of 1.13%, 2.1% and 0.57% compared with prior arts, respectively. Code and models are available at https://github.com/lucasxlu/ComboLoss.git.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（CNN）を用いた顔の魅力予測における多様な損失関数の影響を体系的かつ評価すること。
• 追加のサブネットワークを追加せずに、軽量かつ効果的な損失関数を開発し、特徴の学習を向上させること。
• 回帰と分類の信号を同時に活用することで、顔の魅力予測の回帰性能を向上させること。
• 事前学習や複雑なアーキテクチャに依存せずに、ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• ComboLossは3つの損失コンポonentを組み合わせる：直接的なスコア予測のためのL1回帰損失、魅力的・魅力的でない顔を区別するための重み付き交差エントロピー分類損失、および各クラスの平均予測をモデル化するための期待値損失。
• 分類ヘッドはSEResNeXt50の最終層の直前に追加され、回帰と分類の両方のブランチを経由する勾配の流れを可能にする。
• 顔の魅力スコア予測における外れ値への感受性を低減するため、MSEの代わりにL1損失が使用される。
• 交差エントロピー損失におけるクラスウェイトは、魅力評価におけるクラス不均衡を処理するために最適化される。
• 統合損失はトレーニング中にエンドツーエンドで最小化され、ネットワークがよりロバストで判別力のある特徴を学習できるようになる。
• 追加のサブネットワークを追加せずにSEResNeXt50に適用され、パラメータ増加は0.037%未満にとどまる。

実験結果

リサーチクエスチョン

• RQ1 異なる損失関数は、顔の魅力予測における深層CNNの性能にどのように影響するか？
• RQ2 単純なマルチコンポonent損失関数は、追加のネットワークパラメータを追加せずに性能を向上させられるか？
• RQ3 回帰、分類、期待値監視を組み合わせることで、顔の魅力分析における特徴表現が改善されるか？
• RQ4 SCUT-FBP、HotOrNot、SCUT-FBP5500といった標準ベンチマークにおいて、ComboLossは最先端の手法と比較してどうなるか？

主な発見

• SCUT-FBPでは、ComboLossが皮肉的相関（PC）0.9090を達成し、従来の最先端手法（0.8723）を1.13%上回った。
• HotOrNotデータセットでは、ComboLossがPC 0.503を達成し、前回の最良結果（0.482）を2.1%上回った。
• SCUT-FBP5500では、ComboLossがPC 0.9199を達成し、従来の最先端手法（0.9142）を0.57%上回った。
• アブレーションスタディの結果、MAE、RMSE、PCの観点から、ComboLossはMSE、L1、smooth L1、smooth Huber損失を上回った。
• より単純なResNet18バックボーンでさえ、ComboLossがPC 0.9041を達成したのに対し、MSE損失で訓練された強力なSEResNeXt50はPC 0.9008にとどまった。
• 異なるバックボーンにおいてもComboLossの性能向上は一貫しており、単一のアーキテクチャにとどまらない汎用性と有効性が示された。