[論文レビュー] Learning Expectation of Label Distribution for Facial Age and Attractiveness Estimation

Bin-Bin Gao, Xinxin Liu+3 more|arXiv (Cornell University)|Jul 3, 2020

Face recognition and analysis参考文献 49被引用数 7

ひとこと要約

本論文は、年齢および魅力度推定のためのラベル分布学習と属性値の回帰を統合的に学習する軽量で統合的なフレームワーク、DLDL-v2を提案する。ランキング-CNNとDLDLを共通のラベル分布学習の視点で統合し、期待値回帰モジュールを導入することで、トレーニングと評価の不一致を解消し、従来手法と比較して36倍少ないパラメータと3倍速い推論で最先端の性能を達成した。

ABSTRACT

Facial attributes (\eg, age and attractiveness) estimation performance has been greatly improved by using convolutional neural networks. However, existing methods have an inconsistency between the training objectives and the evaluation metric, so they may be suboptimal. In addition, these methods always adopt image classification or face recognition models with a large amount of parameters, which carry expensive computation cost and storage overhead. In this paper, we firstly analyze the essential relationship between two state-of-the-art methods (Ranking-CNN and DLDL) and show that the Ranking method is in fact learning label distribution implicitly. This result thus firstly unifies two existing popular state-of-the-art methods into the DLDL framework. Second, in order to alleviate the inconsistency and reduce resource consumption, we design a lightweight network architecture and propose a unified framework which can jointly learn facial attribute distribution and regress attribute value. The effectiveness of our approach has been demonstrated on both facial age and attractiveness estimation tasks. Our method achieves new state-of-the-art results using the single model with 36$ imes$ fewer parameters and 3$ imes$ faster inference speed on facial age/attractiveness estimation. Moreover, our method can achieve comparable results as the state-of-the-art even though the number of parameters is further reduced to 0.9M (3.8MB disk storage).

研究の動機と目的

• 顔属性推定におけるトレーニング目的と評価指標（MAE）の不一致を解消すること。
• 共通のラベル分布学習フレームワークの下でランクイング-CNNとDLDL手法を統合すること。
• 性能を維持または向上させながらモデルの複雑さと推論コストを低減すること。
• 年齢および魅力度推定のための軽量で効率的かつ解釈可能なディープラーニングフレームワークを開発すること。
• パラメータ数の削減と高速な推論により、リソース制約のあるデバイスへの展開を可能にすること。

提案手法

• 単一のネットワークを用いてラベル分布の同時学習と期待属性値の回帰を実行する統合的DLDL-v2フレームワークを提案する。
• MAEを直接最適化する期待値回帰モジュールを導入し、トレーニングを評価指標に一致させる。
• パラメータ数がたった0.9Mの薄く深い完全畳み込みアーキテクチャを採用し、ストレージと推論コストを低減する。
• ラベル分布学習を用いて隣接する年齢／魅力度ラベル間の不確実性を暗黙的にモデル化し、ロバストネスを向上させる。
• オクルージョン感度分析を用いたデータオーグメンテーションを実施し、特徴量の重要度とモデルの解釈可能性を評価する。
• 両手法が暗黙的にラベル分布を学習していることから、ランクイング-CNNとDLDLを統合し、共通の理論的基盤を確立する。

実験結果

リサーチクエスチョン

• RQ1 ランクイング-CNNとDLDL手法は、共通のラベル分布学習フレームワークの下で統合可能か？
• RQ2 ラベル分布の同時学習と回帰を組み合わせることで、性能向上とモデル複雑度の低減が達成できるか？
• RQ3 軽量なネットワークが最小限のパラメータと高速な推論で最先端の結果を達成できるか？
• RQ4 モデルの意思決定は特定の顔領域にどのように依存しており、解釈可能か？
• RQ5 トレーニングと評価の不一致を解消することで、より安定的かつ正確な予測が得られるか？

主な発見

• DLDL-v2は、顔の年齢および魅力度推定のベンチマークで、新たな最先端の性能を達成した。
• 単一モデルを用いて、従来の最先端手法と比較して、パラメータ数を36倍削減し、推論速度を3倍速くした。
• たった0.9Mパラメータ（3.8MBのストレージ）で、最先端モデルと同等の性能を達成した。
• オクルージョン解析により、モデルは目、鼻、口、あご——年齢および魅力度推定のための重要な顔領域——に最も依存していることが示された。
• ラベル分布と期待値回帰の同時学習のおかげで、モデルの性能がより安定し、外れ値に対して感受性が低くなった。
• フレームワークは解釈可能であり、特徴量の重要度マップが生物学的に関連する顔領域に一貫した注目を示した。