[論文レビュー] Joint Estimation of Age and Gender from Unconstrained Face Images using Lightweight Multi-task CNN for Mobile Applications

Jia‐Hong Lee, Yi-Ming Chan+2 more|arXiv (Cornell University)|Jun 6, 2018

Face recognition and analysis参考文献 15被引用数 3

ひとこと要約

本稿では、深さ方向に分離可能な畳み込みとハードパラメータ共有を活用して、モデルサイズと推論時間を削減する軽量なマルチタスク畳み込みニューラルネットワーク（LMTCNN）を提案する。この手法は、モバイルデバイス上で、最先端のモデルと同等の精度を達成しながら、モデルサイズを最大9倍小さくし、推論時間を95％以上短縮する。

ABSTRACT

Automatic age and gender classification based on unconstrained images has become essential techniques on mobile devices. With limited computing power, how to develop a robust system becomes a challenging task. In this paper, we present an efficient convolutional neural network (CNN) called lightweight multi-task CNN for simultaneous age and gender classification. Lightweight multi-task CNN uses depthwise separable convolution to reduce the model size and save the inference time. On the public challenging Adience dataset, the accuracy of age and gender classification is better than baseline multi-task CNN methods.

研究の動機と目的

• 限られた計算リソースを持つモバイルデバイス上で、リアルタイムに年齢と性別を推定できるコンactなディープラーニングモデルの開発。
• モバイルアプリケーションに一般的な非制約的で現実世界の環境において、正確な年齢・性別分類システムをデプロイする課題への対処。
• マルチタスク学習と効率的な畳み込み演算を組み合わせることで、分類精度を損なわず、モデルサイズと推論遅延を低減。
• 単一の共有特徴抽出器を用いて、年齢と性別の同時推論を実現し、メモリおよび計算コストを最小限に抑える。
• スマートフォンやスマートロボットなどの低性能モバイルハードウェアに、このモデルをデプロイ可能であることを実証。

提案手法

• 年齢と性別分類の両方のタスクに共通する特徴を抽出するための1つの共有CNNバックボーンを用いる、ハードパラメータ共有パラダイムを採用したマルチタスク学習フレームワーク。
• ベースラインモデルの標準畳み込みを深さ方向に分離可能な畳み込みに置き換えることで、計算コストとモデルサイズを顕著に削減。
• 深さ方向に分離可能な畳み込みは、標準畳み込みを入力チャネルごとの深さ方向畳み込み（1×1カーネル）と特徴の結合に用いるポイントワイド畳み込み（1×1カーネル）に分解する。
• モデルの複雑さをさらに制御し、速度と精度のトレードオフを調整するために、幅係数（width multiplier）と解像度係数（resolution multiplier）を適用。
• 最先端のLevi_Hassner CNN [8]を変更し、深さ方向に分離可能な畳み込みとマルチタスク学習を統合することで、LMTCNNアーキテクチャを構築。
• Androidベースのモバイルデバイスへのデプロイを想定し、学習済みモデルをTensorFlowの計算グラフに変換。

実験結果

リサーチクエスチョン

• RQ1 軽量なマルチタスク畳み込みニューラルネットワークは、大規模モデルと同等の年齢・性別分類精度を達成しつつ、モバイルデバイスへのデプロイに適しているか？
• RQ2 非制約的顔画像において、性能劣化を伴わず、深さ方向に分離可能な畳み込みがモデルサイズと推論時間をどの程度削減できるか？
• RQ3 年齢と性別タスク間でハードパラメータ共有を適用することで、モバイル環境におけるモデルの効率性と一般化性能にどのような影響を与えるか？
• RQ4 既存手法と比較して、低性能モバイルハードウェア上での本手法の実際の推論速度とメモリフットプリントはどの程度か？
• RQ5 最適化されたモバイル推論を前提としながらも、挑戦的な「in-the-wild」Adienceベンチマークで高い精度を維持できるか？

主な発見

• 最初の深さ方向に分離可能な畳み込みに幅係数2、2番目の畳み込みに幅係数1を設定したLMTCNNは、年齢推定で44.26％のトップ1精度、性別分類で85.16％を達成。ベースラインのLevi_Hassner CNNより性別分類精度が向上し、モデルサイズは顕著に小さくなった。
• 幅係数1のLMTCNNのモデルサイズはわずか8.7 MBであり、Levi_Hassner CNNの70.8 MBと比較して9倍の削減が達成された。
• ASUS Zenboでの推論速度は、LMTCNN-1-1で1フレームあたり204.7 ms、LMTCNN-2-1で297.6 msであり、Levi_Hassner CNNの約4800 ms/フレームと比較して95％以上の高速化が達成された。
• 幅係数を2に設定した場合、LMTCNNは年齢推定で70.78％のトップ2精度、性別分類で85.16％の精度を達成し、モデルサイズは30 MBにとどまった。
• 本システムはASUS ZenboロボットおよびASUS Zenfone 3スマートフォンなど、複数のモバイルデバイスに成功裏にデプロイされ、リアルタイム性能と低メモリ使用量を実証した。
• 深さ方向に分離可能な畳み込みの使用により、計算コストが $ \frac{D_K^2 C_O}{D_K^2 + C_O} $ の係数で削減され、チャネル数が多いモデルほど顕著な高速化が得られた。