[論文レビュー] MaskFace: multi-task face and landmark detector

D. A. Yashunin, Tamir Baydasov+1 more|arXiv (Cornell University)|May 19, 2020

Face recognition and analysis参考文献 60被引用数 13

ひとこと要約

MaskFaceは、顔検出フレームワークにマスクR-CNNにインspiredされたキーポイントヘッドを統合し、RoIAlignを用いて正確な特徴抽出を実現するマルチタスク顔およびキーポイント検出モデルを提案する。顔とキーポイントを最小限の計算コストで同時に予測することで、WIDER FACE、AFLW、300Wデータセットにおいて最先端の精度を達成し、単一タスクおよびマルチタスクモデルを上回る性能を発揮する。

ABSTRACT

Currently in the domain of facial analysis single task approaches for face detection and landmark localization dominate. In this paper we draw attention to multi-task models solving both tasks simultaneously. We present a highly accurate model for face and landmark detection. The method, called MaskFace, extends previous face detection approaches by adding a keypoint prediction head. The new keypoint head adopts ideas of Mask R-CNN by extracting facial features with a RoIAlign layer. The keypoint head adds small computational overhead in the case of few faces in the image while improving the accuracy dramatically. We evaluate MaskFace's performance on a face detection task on the AFW, PASCAL face, FDDB, WIDER FACE datasets and a landmark localization task on the AFLW, 300W datasets. For both tasks MaskFace achieves state-of-the-art results outperforming many of single-task and multi-task models.

研究の動機と目的

• 顔検出とキーポイント位置特定の順次的で単一タスクのパイプラインが誤差を累積させ、特徴共有が欠如するという限界を解消すること。
• 共有表現を持つ統合モデルを共同学習することで、顔検出とキーポイント位置特定の両方の精度を向上させること。
• 特にスパarselyおよび密集したキーポイントに対して、マスクR-CNN風のキーポイントヘッドの有効性を検証すること。
• 文脈モジュール、特徴ピラミッド、バックボーン選択といったモデルアーキテクチャ要因が検出および位置特定性能に与える影響を評価すること。
• 適切に設計されたマルチタスクモデルが、追加のデータオーグメンテーションや教師信号を用いずに、より複雑な単一タスクまたはマルチタスクベースラインを上回ることを示すこと。

提案手法

• マスクR-CNNにインspiredされたキーポイント予測ヘッドを追加することで、RetinaFaceおよびSSHスタイルの顔検出器を拡張する。
• 予測されたバウンディングボックスから特徴をアライメント抽出するためにRoIAlignを用い、特徴とキーポイントのピixelごとの対応を保証する。
• マルチスケール特徴を統合することで、小さな顔の検出を向上させるために特徴ピラミッドネットワーク（FPN）を採用する。
• 浅い層における特徴表現を向上させるために、受容 field を拡大する文脈モジュールを導入する。
• アンカーベースの顔検出におけるクラス不均衡を扱うために、フォーカル損失とオンラインハード例マイニング（OHEM）を適用する。
• キーポイント位置特定のための回帰ベースのキーポイントヘッドをL1/L2損失で定式化し、検出ヘッドとエンドツーエンドで同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 マスクR-CNN風のマスクヘッドは、顔のキーポイント検出に効果的に適応可能であり、位置特定精度を向上させることができるか？
• RQ2 共有特徴を用いた顔検出とキーポイント位置特定の共同学習は、単一タスクモデルよりも優れた性能を発揮するか？
• RQ3 キーポイントヘッドの導入が顔検出精度に与える影響は何か？また、タスク間の干渉は緩和可能か？
• RQ4 バックボーンアーキテクチャ、文脈モジュール、特徴ピラミッドが検出およびキーポイント位置特定性能に与える影響は？
• RQ5 MaskFaceは、最先端の単一タスクおよびマルチタスクモデルと比較して、精度およびインフェレンス速度の両面で優れているか？

主な発見

• ResNeXt-152を用いたWIDER FACEのハードサブセットにおいて、APが0.9724に達し、先行モデルを上回る最先端の性能を達成した。
• AFLWでは、5つの顔のキーポイントに対してCED@0.95が3.39にまで低下し、追加データや教師信号を用いない手法の中で最高の結果を記録した。
• 高い効率性を維持しており、ResNet-50を用いた場合、640x480画像で約20 FPSを達成し、1顔あたりのキーポイント予測に約11 msを要した。
• アブレーションスタディの結果、文脈モジュールおよびキーポイントヘッドが、困難な（小さな／隠れ）顔の検出を顕著に向上させた。
• キーポイントヘッドは計算コストが極めて低く、1顔あたりわずか0.11 msの追加コストに留まり、リアルタイム応用に適していることが示された。
• ResNeXt-152バックボーンが最良の性能（AP: 0.9724、CED: 3.39）を示し、より強力な表現が精度向上に寄与することを確認した。