[論文レビュー] Real-time Face Mask Detection in Video Data

Yuchen Ding, Zichen Li+1 more|arXiv (Cornell University)|May 5, 2021

Face recognition and analysis参考文献 2被引用数 12

ひとこと要約

本稿では、深層学習を用いた2つのリアルタイム顔マスク検出パイプラインを提示する。1つは事前学習済み顔検出器と合成データ上の分類器を組み合わせたものであり、もう1つは実世界の画像で微調整された1段階オブジェクト検出器（YOLO）を用いたものである。YOLOベースのパイプラインは89%のmAP(0.5)と52 FPSを達成し、監視システムにおける実世界への展開において高い効率性と優れた性能を示した。

ABSTRACT

In response to the ongoing COVID-19 pandemic, we present a robust deep learning pipeline that is capable of identifying correct and incorrect mask-wearing from real-time video streams. To accomplish this goal, we devised two separate approaches and evaluated their performance and run-time efficiency. The first approach leverages a pre-trained face detector in combination with a mask-wearing image classifier trained on a large-scale synthetic dataset. The second approach utilizes a state-of-the-art object detection network to perform localization and classification of faces in one shot, fine-tuned on a small set of labeled real-world images. The first pipeline achieved a test accuracy of 99.97% on the synthetic dataset and maintained 6 FPS running on video data. The second pipeline achieved a mAP(0.5) of 89% on real-world images while sustaining 52 FPS on video data. We have concluded that if a larger dataset with bounding-box labels can be curated, this task is best suited using object detection architectures such as YOLO and SSD due to their superior inference speed and satisfactory performance on key evaluation metrics.

研究の動機と目的

• 新型コロナウイルス感染症の流行期における動画ストリームで、正しく着用されているか、不適切に着用されているかの顔マスク使用状況をリアルタイムで検出するシステムの開発。
• マスク検出パイプラインにおける精度と推論速度のトレードオフの評価。
• 2段階の顔検出器＋分類器パイプラインと1段階のオブジェクト検出パイプラインという2つの異なる深層学習アプローチの比較。
• マスク検出に向けた合成データと小規模な実世界データセットの使用の妥当性と性能の評価。
• 自動化されたマスク検出システムにおけるバイアス、セキュリティ、実世界への展開リスクの長期的影響の探求。

提案手法

• 動画フレームから顔を抽出するために、事前学習済みのMTCNNを顔検出器として採用した。
• 正しく着用、不適切に着用、マスク未着用の3クラスを含む、合計18万枚の合成画像データセットを用いて、マスク着用画像分類器を学習した。
• 顔のバウンディングボックスとマスク着用ラベルが付与された1万4233枚の実世界データセットで微調整されたYOLOv5を、1段階オブジェクト検出器として使用した。
• ノイズの多い教師モデルや自己学習法を含む、知識蒸留技術を適用してモデルの精度と効率性を向上させた。
• 標準的な指標を用いてモデルの性能を評価した：テスト精度、mAP(0.5)、リアルタイム推論のための1秒あたりフレーム数（FPS）。
• 敵対的耐性とセキュリティ上の懸念を検討し、特に蒸留によるモデルの強化と潜在的な攻撃ベクトルの分析を行った。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み顔検出器と合成データ上での分類器を組み合わせた2段階パイプラインは、マスク検出において高い精度とリアルタイム性能を達成できるか？
• RQ2 実世界の動画データにおいて、YOLOのような1段階オブジェクト検出モデルの性能は、2段階パイプラインと比較してmAPと推論速度の面でどのように異なるか？
• RQ3 知識蒸留は、推論速度を犠牲にせずに、軽量モデルの精度をどの程度向上させることができるか？
• RQ4 公共の監視環境に自動化されたマスク検出システムを展開するにあたり、主なリスクと倫理的懸念は何か？
• RQ5 実世界の展開環境において、敵対的攻撃やデータ汚染に対して、モデルの耐性をどのように高められるか？

主な発見

• 2段階パイプラインは、合成データセット上で99.97%のテスト精度を達成し、リアルタイム動画データでは6 FPSを維持した。
• 1段階YOLOベースのパイプラインは、実世界の画像で89%のmAP(0.5)を達成しながらも、52 FPSを維持し、優れたリアルタイム性能を示した。
• 知識蒸留はモデル精度を顕著に向上させ、1つの実験では反復的蒸留技術を用いて、小規模なサンプルで精度が37%から96.5%にまで上昇した。
• 本研究では、より大きなラベル付きデータセットが利用可能な場合、YOLO や SSD のようなオブジェクト検出アーキテクチャが、優れたスピードとパフォーマンスを発揮するため、本タスクに適していると結論づけた。
• 敵対的攻撃やデータプライバシーの侵害を含むセキュリティリスクが、重大な懸念事項として特定され、モデルの強化やアクセス制御などの緩和戦略が求められた。
• バイアス評価と人種的・文化的な公平性のテストは、実世界への展開に先立って不可欠な今後のステップであると強調された。これにより、差別の的結果を防ぐことができる。