[論文レビュー] Face Detection in Extreme Conditions: A Machine-learning Approach

Sameer Aqib Hashmi|arXiv (Cornell University)|Jan 17, 2022

Face recognition and analysis被引用数 6

ひとこと要約

本論文は、極端な照明、遮蔽、多様なポーズといった極限状態下での顔検出のための深層級層的マルチタスクフレームワークを提案する。三層構造の粗いから細かい順の畳み込みネットワークと、新たなオンラインハードサンプルマイニング戦略を採用することで、手動でのデータキュレーションを必要とせず検出精度を向上させ、困難なベンチマークで最先端のパフォーマンスを達成した。

ABSTRACT

Face detection in unrestricted conditions has been a trouble for years due to various expressions, brightness, and coloration fringing. Recent studies show that deep learning knowledge of strategies can acquire spectacular performance inside the identification of different gadgets and patterns. This face detection in unconstrained surroundings is difficult due to various poses, illuminations, and occlusions. Figuring out someone with a picture has been popularized through the mass media. However, it's miles less sturdy to fingerprint or retina scanning. The latest research shows that deep mastering techniques can gain mind-blowing performance on those two responsibilities. In this paper, I recommend a deep cascaded multi-venture framework that exploits the inherent correlation among them to boost up their performance. In particular, my framework adopts a cascaded shape with 3 layers of cautiously designed deep convolutional networks that expect face and landmark region in a coarse-to-fine way. Besides, within the gaining knowledge of the procedure, I propose a new online tough sample mining method that can enhance the performance robotically without manual pattern choice.

研究の動機と目的

• 極端な環境条件（照明不良、遮蔽、極端なポーズなど）下での顔検出という、長年の課題に取り組むこと。
• 従来の手法が失敗するような現実世界のシナリオにおいて、検出の頑健性と精度を向上させること。
• 手動によるハードサンプル選択の必要性を排除するため、自動化されたオンラインハードサンプルマイニングメカニズムを導入すること。
• 粗いから細かい順の級層的アプローチで、顔の位置と顔面特徴点を同時に予測することでマルチタスク学習を活用すること。
• 深層的で階層的なネットワークアーキテクチャにより、極限状態下のベンチマークデータセットで優れたパフォーマンスを達成すること。

提案手法

• フレームワークは、粗いから細かい順に段階的に顔検出と顔面特徴点の局所化を改善する三層構造の級層的深層畳み込みネットワークを採用している。
• 級層の各段階では、顔の位置と顔面キーポイント座標を回帰する専用の深層ネットワークが使用され、局所化の精度が向上する。
• 新たなオンラインハードサンプルマイニング戦略により、バックプロパゲーション中に困難なトレーニングサンプルを動的に同定・優先順位付けし、モデルの一般化性能が向上する。
• 顔検出と顔面特徴点検出を同時に最適化することでマルチタスク学習を統合し、両者の内在的相関を活用する。
• 顔検出と顔面特徴点回帰の目的関数をバランスさせる統合損失関数を用いて、ネットワーク全体をエンドツーエンドでトレーニングする。
• 計算効率が高く、極端な視覚的変化下でも高い精度を維持できるようにアーキテクチャが設計されている。

実験結果

リサーチクエスチョン

• RQ1 級層的深層学習フレームワークは、極端な照明やポーズの変動下で顔検出性能を向上させることができるか？
• RQ2 顔の位置と顔面特徴点の共同予測は、制約のない環境下での検出の頑健性をどのように向上させるか？
• RQ3 手動でのデータキュレーションなしに、オンラインハードサンプルマイニングはどの程度モデルの精度を向上させることができるか？
• RQ4 粗いから細かい順の級層的アーキテクチャは、極限状態ベンチマークにおいて単一段階検出器を上回る性能を示すか？
• RQ5 共有特徴抽出を用いたマルチタスク学習は、リソースが限られたまたはノイズの多い顔検出シナリオで一般化性能をどのように向上させるか？

主な発見

• 提案された級層的マルチタスクフレームワークは、極限状態下のベンチマークデータセットで最先端のパフォーマンスを達成し、従来の単一段階検出器を顕著に上回った。
• オンラインハードサンプルマイニングの統合により、困難なサンプルの自動同定と優先順位付けが可能となり、収束性と精度が向上した。
• 顔検出と顔面特徴点回帰の共同最適化により特徴学習が強化され、遮蔽や照明不良下でもより正確な局所化が可能になった。
• 粗いから細かい順の級層的機構により、誤検出が効果的に低減され、困難なシナリオでの検出再現率が向上した。
• モデルは、照明、ポーズ、部分的遮蔽に大きな変動を示す多様なデータセットに対して頑健であることが確認され、一般化能力が裏付けられた。
• 動的ハードサンプルマイニングを用いたエンドツーエンドトレーニングプロセスにより、手動でのデータフィルタリングの必要性が排除され、デプロイメントが簡素化された。