[論文レビュー] Fine-Grained Age Estimation in the wild with Attention LSTM Networks

Ke Zhang, Na Liu‎+5 more|arXiv (Cornell University)|May 26, 2018

Face recognition and analysis参考文献 60被引用数 17

ひとこと要約

本稿では、ResNets/RoRのグローバル特徴と、注目メカニズムによって駆動されるLSTMユニットによって抽出された局所的・年齢に感受性のある領域特徴を組み合わせるAttention LSTM Network（AL-ResNetsおよびAL-RoR）を提案し、非制約的（ワイルド）な設定における細分化された年齢推定の複数のベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Age estimation from a single face image has been an essential task in the field of human-computer interaction and computer vision, which has a wide range of practical application values. Accuracy of age estimation of face images in the wild is relatively low for existing methods, because they only take into account the global features, while neglecting the fine-grained features of age-sensitive areas. We propose a novel method based on our attention long short-term memory (AL) network for fine-grained age estimation in the wild, inspired by the fine-grained categories and the visual attention mechanism. This method combines the residual networks (ResNets) or the residual network of residual network (RoR) models with LSTM units to construct AL-ResNets or AL-RoR networks to extract local features of age-sensitive regions, which effectively improves the age estimation accuracy. First, a ResNets or a RoR model pretrained on ImageNet dataset is selected as the basic model, which is then fine-tuned on the IMDB-WIKI-101 dataset for age estimation. Then, we fine-tune the ResNets or the RoR on the target age datasets to extract the global features of face images. To extract the local features of age-sensitive regions, the LSTM unit is then presented to obtain the coordinates of the agesensitive region automatically. Finally, the age group classification is conducted directly on the Adience dataset, and age-regression experiments are performed by the Deep EXpectation algorithm (DEX) on MORPH Album 2, FG-NET and 15/16LAP datasets. By combining the global and the local features, we obtain our final prediction results. Experimental results illustrate the effectiveness and robustness of the proposed AL-ResNets or AL-RoR for age estimation in the wild, where it achieves better state-of-the-art performance than all other convolutional neural network.

研究の動機と目的

• 非制約的顔画像からの年齢推定の低精度の原因であるグローバル特徴のみに依存する問題に対処すること。
• 既存のデータセットに年齢感受性領域のアノテーションが不足しているのを補うために、注目メカニズムを用いて判別性の高い顔の特徴を自動的に局所化すること。
• 事前学習済みのResNetsまたはRoRのグローバル特徴と、注目駆動LSTMユニットからの局所特徴を融合させることで、年齢推定の性能を向上させること。
• 年齢分布や画像品質が異なる多様な現実世界のデータセットにおいて、提案手法の有効性を示すこと。
• 手動での部位アノテーションを必要としない、新規のエンドツーエンドのフレームワークを提供すること。

提案手法

• ImageNetで事前学習したResNetまたはRoRモデルを、IMDB-WIKI-101データセットで微調整して、年齢固有の特徴抽出を実行する。
• バックボーンネットワーク（AL-ResNetまたはAL-RoR）に1つのLSTMユニットを統合し、しわや髪の毛の変化など年齢感受性領域を強調する空間的注目マップを学習する。
• LSTMユニットを用いて特徴マップ間の逐次的依存関係をモデル化することで、手動アノテーションなしに年齢感受性領域の座標を予測する。
• 主ネットワークからのグローバル特徴と、注目重みをかけた領域からの局所特徴を抽出し、それらを連結して最終予測を行う。
• Adienceデータセットでは年齢グループ分類を、MORPH Album 2、FG-NET、15/16LAPデータセットではDeep EXpectation（DEX）アルゴリズムを用いた年齢回帰を実行する。
• 平均絶対誤差（MAE）およびイプシロン誤差（ε-error）の指標を用いて、回帰および分類性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 手動アノテーションを必要とせずに、注目駆動LSTMユニットが年齢感受性顔領域を効果的に局所化できるか？
• RQ2 深層ネットワークからのグローバル特徴と、注目によって学習された領域からの局所特徴を組み合わせることで、非制約的環境における年齢推定精度が向上するか？
• RQ3 提案されたAL-ResNet/AL-RoRフレームワークは、標準的な年齢推定ベンチマークで既存のCNNベース手法と比較してどのように差をつけるか？
• RQ4 注目メカニズムから得られる局所特徴は、グローバル特徴のみに依存するモデルと比較して、予測誤差をどの程度低減するか？
• RQ5 Adience、MORPH、FG-NET、15/16LAPのような年齢分布や画像品質が異なる多様なデータセットにおいて、モデルは一般化可能か？

主な発見

• AL-RoR-34モデルは16LAPデータセットでテスト時のε-errorが0.2859を記録し、2016年ChaLearnチャレンジで2位となり、単一モデルベースラインを上回った。
• MORPH Album 2データセットでは、AL-RoR-34モデルが2.36年というSOTAのMAEを達成し、前回SOTAのDLDLより0.06年改善した。
• FG-NETデータセットでは、AL-RoR-34モデルが2.39年という新たなSOTAのMAEを達成し、挑戦的で多様な年齢分布において優れた性能を示した。
• AL-ResNet-152およびAL-RoR-34モデルは、ResNet-34およびRoR-34よりも低いMAEおよびε-errorを達成しており、局所特徴学習がグローバル特徴表現を強化することを実証した。
• 可視化例では、DEXおよびRoR-34と比較して、AL-RoR-34モデルが中高年齢帯において顕著に小さい年齢予測誤差を示した。
• アブレーションスタディの結果、グローバル特徴と局所特徴を組み合わせることで、グローバル特徴のみを使用する場合よりも年齢予測誤差がより顕著に低減することが確認された。