[論文レビュー] Soft-ranking Label Encoding for Robust Facial Age Estimation

Xusheng Zeng, Changxing Ding+2 more|arXiv (Cornell University)|Jun 9, 2019

Face recognition and analysis参考文献 60被引用数 8

ひとこと要約

本稿では、年齢の順序性と隣接する年齢間の相関関係を統合的にモデル化する新しい年齢符号化手法であるSoft-rankingラベル符号化を提案する。この手法により、深層学習の監視性能が向上する。軽量なMaskout正則化戦略と組み合わせることで、Morph II、CLAP2015、CLAP2016で最先端の性能を達成し、1つのネットワークで、Ensembleモデルを含む先行手法を上回った。

ABSTRACT

Automatic facial age estimation can be used in a wide range of real-world applications. However, this process is challenging due to the randomness and slowness of the aging process. Accordingly, in this paper, we propose a comprehensive framework aimed at overcoming the challenges associated with facial age estimation. First, we propose a novel age encoding method, referred to as 'Soft-ranking', which encodes two important properties of facial age, i.e., the ordinal property and the correlation between adjacent ages. Therefore, Soft-ranking provides a richer supervision signal for training deep models. Moreover, we also carefully analyze existing evaluation protocols for age estimation, finding that the overlap in identity between the training and testing sets affects the relative performance of different age encoding methods. Finally, since existing face databases for age estimation are generally small, deep models tend to suffer from an overfitting problem. To address this issue, we propose a novel regularization strategy to encourage deep models to learn more robust features from facial parts for age estimation purposes. Extensive experiments indicate that the proposed techniques improve the age estimation performance; moreover, we achieve state-of-the-art performance on the three most popular age databases, $i.e.$, Morph II, CLAP2015, and CLAP2016.

研究の動機と目的

• 顔の年齢推定の課題、特にランダムで遅い老化プロセスと、小規模で過学習しやすいデータセットに起因する問題に対処すること。
• 顔の老化における順序関係と年齢間相関関係を両方とも捉える統合的年齢符号化手法の開発。
• 限られた年齢データベースで訓練された深層モデルにおける過学習を、効率的で推論時コストのない正則化戦略によって低減すること。
• 訓練集合とテスト集合の間のアイデンティティの重複によって引き起こされる、従来の評価プロトコルのバイアスを特定・是正すること。
• 公に利用可能なデータのみを用いて、標準的な顔の年齢推定ベンチマークで最先端の性能を達成すること。

提案手法

• Soft-rankingは、各要素が顔が特定の年齢未満である確率を表す確率ベクトルとして年齢を符号化する。これにより、自然に順序性と年齢間相関が組み込まれる。
• この手法は、ハードランクやワンホット符号化とは異なり、隣接する年齢グループ間の滑らかな移行をソフトラベルでモデル化する。
• Maskout正則化は、訓練時に切り取った画像パッチを補助タスクとして用いることで、局所的な顔の部位からの頑健な特徴学習を促進する。
• Maskoutは訓練時のみに適用され、推論時には削除されるため、推論時の計算コストは一切増加しない。
• フレームワークは、Soft-rankingを主な監視信号とし、Maskoutを正則化子として統合的に深層学習パイプラインに統合する。
• 実験では、ResNet-34とVGG-16のバックボーンを用い、各構成要素の寄与度を検証するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 順序性と年齢間相関関係を両方モデル化する統合的年齢符号化手法が、顔の年齢推定性能を向上させることができるか？
• RQ2 Patchベースの正則化戦略（例：Maskout）は、推論コストを増加させることなく、過学習を効果的に低減できるか？
• RQ3 訓練集合とテスト集合の間のアイデンティティの重複が、年齢推定手法の評価にどのように影響するか？
• RQ4 1つの深層モデルが、複数モデルのアンサンブルやプライベートデータを用いた手法を上回る性能を達成できるか？
• RQ5 ワンホット、順序、ランクベースのラベルと比較して、Soft-rankingはより効果的か？

主な発見

• RSプロトコル下でMorph IIデータベースにおいて、Soft-rankingは平均絶対誤差（MAE）1.69を達成し、事前学習を用いたすべての先行手法を上回った。
• CLAP2015では、提案手法がε誤差0.244を達成し、前回の最先端手法（AL-RoR-34∗）を0.012上回った。
• CLAP2016では、ε誤差0.232を達成し、1モデルアプローチとしての最先端記録を樹立した。多モデルアンサンブル手法をも上回った。
• Maskout正則化により過学習が低減され、特に小規模データセットにおいて一般化性能が向上し、すべてのベンチマークで一貫した向上が得られた。
• 実験的に、訓練集合とテスト集合の間のアイデンティティの重複が、特定の符号化手法に有利に働くなど、誤った性能比較を引き起こすことが明らかになった。
• アブレーションスタディにより、Soft-rankingとMaskoutの両方が性能向上に顕著な寄与をしていることが確認され、組み合わせによる効果が最大であった。