[論文レビュー] Age Group and Gender Estimation in the Wild with Deep RoR Architecture

Ke Zhang, Ce Gao+6 more|arXiv (Cornell University)|Oct 9, 2017

Face recognition and analysis参考文献 42被引用数 13

ひとこと要約

本稿は、非制約的（野生の）顔画像における年齢層および性別推定のための、深層リプルサントネットワークのリプルサントネットワーク（RoR）アーキテクチャを提案する。ImageNetでの事前学習とIMDB-WIKI-101およびAdienceデータセットでの微調整を活用している。2つの新規メカニズム—性別ベースの事前学習と重み付き損失層—を導入し、性能を顕著に向上させ、RoR-152を用いてAdienceベンチマークで67.34%の精度を達成し、新たな最先端の結果を実現した。

ABSTRACT

Automatically predicting age group and gender from face images acquired in unconstrained conditions is an important and challenging task in many real-world applications. Nevertheless, the conventional methods with manually-designed features on in-the-wild benchmarks are unsatisfactory because of incompetency to tackle large variations in unconstrained images. This difficulty is alleviated to some degree through Convolutional Neural Networks (CNN) for its powerful feature representation. In this paper, we propose a new CNN based method for age group and gender estimation leveraging Residual Networks of Residual Networks (RoR), which exhibits better optimization ability for age group and gender classification than other CNN architectures.Moreover, two modest mechanisms based on observation of the characteristics of age group are presented to further improve the performance of age estimation.In order to further improve the performance and alleviate over-fitting problem, RoR model is pre-trained on ImageNet firstly, and then it is fune-tuned on the IMDB-WIKI-101 data set for further learning the features of face images, finally, it is used to fine-tune on Adience data set. Our experiments illustrate the effectiveness of RoR method for age and gender estimation in the wild, where it achieves better performance than other CNN methods. Finally, the RoR-152+IMDB-WIKI-101 with two mechanisms achieves new state-of-the-art results on Adience benchmark.

研究の動機と目的

• 従来のハンドクラフト特徴量が失敗する、非制約的で現実世界の顔画像における正確な年齢層および性別の推定という課題に対処すること。
• 戦略的な事前学習と微調整を通じて、過学習を軽減することで、小規模なデータセットにおける深層学習の性能を向上させること。
• ドメイン特化のアーキテクチャ的およびトレーニングの変更を導入することで、年齢推定における最適化および表現学習を強化すること。
• 深層リプルサントアーキテクチャを用いて、Adienceベンチマークにおける年齢および性別分類の最先端の性能を達成すること。

提案手法

• 本稿は、年齢および性別推定における最適化と特徴表現の向上を目的とした、新規のリプルサントネットワークのリプルサントネットワーク（RoR）アーキテクチャを提案する。
• 年齢分布の不均衡を改善するため、老化曲線に基づいて年齢層に異なる損失重みを割り当てる重み付き損失層を導入し、学習効率を向上させた。
• エンドツーエンドの微調整の前に、性別に配慮した特徴学習を強化するため、ネットワークの初期化に性別ベースの事前学習機構を適用した。
• RoRモデルはまずImageNetで事前学習し、一般特徴を学習した後、顔特化特徴学習のためIMDB-WIKI-101で微調整し、最終的に分類のためAdienceデータセットで微調整した。
• フレームワークは3段階のトレーニングパイプラインを用いる：ImageNetでの事前学習、IMDB-WIKI-101での微調整、Adience固有の微調整によりターゲットドメインに適応した。
• 正則化のため、ドロップパスおよびドロップアウトを備えたリプルサントブロックを活用し、深さ、ブロックタイプ、ハイパーパramータを評価して性能最適化を図った。

実験結果

リサーチクエスチョン

• RQ1 RoRのようなより深いリプルサントアーキテクチャは、非制約的条件下で標準的なCNNよりも年齢および性別推定において優れた性能を示せるか？
• RQ2 ImageNetでの事前学習に続いてIMDB-WIKI-101での微調整を実施することで、Adienceのような小規模データセットにおける一般化性能が向上し、過学習が軽減されるか？
• RQ3 提案されたメカニズム（重み付き損失および性別ベースの事前学習）は、年齢推定の精度をどの程度向上させるか？
• RQ4 RoRは、IMDB-WIKIのような大量の事前学習データに依存せずに最先端の性能を達成できるか、それとも最適な結果を得るには依然としてこのようなデータが必要か？

主な発見

• 両方のメカニズムを備えたRoR-152+IMDB-WIKI-101モデルは、年齢層分類においてAdienceベンチマークで67.34%の新しい最先端の単一モデル精度を達成した。
• 両方のメカニズムを備えたRoR-152モデルは1オフ精度が97.51%に達し、テストセットにおける優れた一般化性能と頑健性を示した。
• IMDB-WIKI-101での事前学習がなくても、2つのメカニズムを備えたPre-RoR-58+SDモデルは64.17%の精度を達成し、IMDB-WIKIでの事前学習なしのDEXを上回った。
• 性別ベースの事前学習と重み付き損失の組み合わせは、VGG-16やResNets-34を含む複数のアーキテクチャで性能向上をもたらし、本手法の汎用性を証明した。
• IMDB-WIKI-101での微調整は性能を顕著に向上させ、RoR-34+IMDB-WIKI-101では66.91%の精度を達成し、ImageNetでのみ事前学習されたモデルを上回った。
• アブレーションスタディにより、両方のメカニズムが独立して性能向上に寄与しており、特に不均衡な年齢層分布の処理において重み付き損失層が顕著に有効であることが確認された。