[論文レビュー] Facial Key Points Detection using Deep Convolutional Neural Network - NaimishNet

Naimish Agarwal, Artus Krohn-Grimberghe+1 more|arXiv (Cornell University)|Oct 3, 2017

Face recognition and analysis参考文献 11被引用数 7

ひとこと要約

本論文では、LeNetを基盤とする深層畳み込みニューラルネットワークNaimishNetを提案し、顔のキーポイント検出に用いる。ELU活性化関数、プログレッシブドロップアウト、リーダーモード型学習を活用することで、15点顔キーポイントデータセットにおいて最先端の性能を達成し、全キーポイントの平均テストRMSEは1.03を記録した。

ABSTRACT

Facial Key Points (FKPs) Detection is an important and challenging problem in the fields of computer vision and machine learning. It involves predicting the co-ordinates of the FKPs, e.g. nose tip, center of eyes, etc, for a given face. In this paper, we propose a LeNet adapted Deep CNN model - NaimishNet, to operate on facial key points data and compare our model's performance against existing state of the art approaches.

研究の動機と目的

• 異なるポーズ、照明、顔の変化に耐えうる正確な顔キーポイント検出を実現する、軽量で効率的なディープラーニングモデルの開発。
• バッチ正規化とドロップアウトを用いた畳み込み層および全結合層を備えたLeNetアーキテクチャの回帰ベースの顔キーポイント予測への適応。
• プログレッシブドロップアウト率とELU活性化関数を用いることで、一般化性能の向上と過学習の低減。
• 15個の顔キーポイントラベルが付与された標準ベンチマークデータセットを用いた性能評価。
• 既存の最先端モデルと比較して、NaimishNetの顔キーポイント検出性能を評価。

提案手法

• NaimishNetは、ELU活性化関数とプログレッシブドロップアウト（0.1から0.6へ段階的増加）を用いた4層の畳み込み層、4層のマックスプーリング層、3層の全結合層から構成されるアーキテクチャ。
• グレースケールの96×96入力画像を処理し、畳み込み層ではゼロパディングを一切使用せず、フィルターサイズを(4,4)から(1,1)へ段階的に縮小。
• 重み初期化にはGlorot均一分布が用いられ、最終出力層は線形活性化関数を用いて各顔キーポイントの2次元座標（x, y）を予測。
• 最適化にはAdamを用い、固定学習率0.001で学習を実行し、平均二乗誤差（MSE）損失を最小化。
• 最大300エポックまで訓練を実施し、検証損失に基づく早期停止を適用。モデルチェックポイントは一定間隔で保存。
• データオーグメンテーションおよび前処理技術（ヒストグラムストレッチング、画像反転など）は検討されたが、最終モデルでは明示的に適用されなかった。

実験結果

リサーチクエスチョン

• RQ1 最小限のアーキテクチャ的複雑さで、改変されたLeNetアーキテクチャが顔キーポイント検出で最先端の性能を達成できるか。
• RQ2 プログレッシブドロップアウト率とELU活性化関数は、キーポイント回帰におけるモデルの一般化性能と収束特性にどのように影響を与えるか。
• RQ3 限られたデータで顔キーポイント検出の過学習を最小限に抑えるために、最適なトレーニングスケジュールと早期停止戦略は何か。
• RQ4 Kaggleベンチマーク上での15個の顔キーポイントターゲットにおけるRMSEスコアを比較して、NaimishNetはLongpreらやOnetoらの既存モデルを上回っているか。
• RQ5 ポーズ、照明、表情の多様な変化に対し、モデルはどの程度一般化性能を示すか。

主な発見

• NaimishNetは全15個の顔キーポイントターゲットで平均テストRMSEが1.03を記録し、優れた一般化性能と頑健性を示した。
• 全キーポイントタイプにおいて一貫した収束が確認され、トレーニング損失と検証損失のRMSE曲線が密接に一致しており、過学習の兆候はほとんど見られなかった。
• ほとんどのキーポイントターゲットにおいて、300エポックに達する前までに最良のモデルチェックポイントが達成されており、効率的なトレーニングダイナミクスを示した。
• 左目中心（図5）および右目中心（図6）の損失曲線は滑らかで単調減少しており、最小限の振動を示しており、安定した最適化が行われていた。
• Kaggleベンチマーク上でのRMSEスコアが低く、Longpre ら や Oneto らの先行研究を上回る性能を確認した。
• 鼻先の最良モデルではテストRMSEが0.37に達したが、左目中心では6.87と最も難易度の高いターゲットであった。キーポイントタイプ間での検出難易度のばらつきが明らかになった。