[論文レビュー] FaceOcc: A Diverse, High-quality Face Occlusion Dataset for Human Face Extraction

Xiangnan Yin, Liming Chen|arXiv (Cornell University)|Jan 20, 2022

Face recognition and analysis被引用数 5

ひとこと要約

本稿では、CelebA-HQおよびインターネットリソースから得た30,000枚以上の多様で手作業でアノテートされた、眼鏡、マスク、手、スカーフなどを含む、大規模かつ高品質な顔の被掩（オクルージョン）データセットFaceOccを紹介する。FaceOccとCelebAMask-HQの属性マスクを組み合わせることで、単純なU-Netベースのモデルを訓練し、顔セグメンテーションでSOTA性能を達成した。これは、モデルの複雑さよりもデータの質と多様性がより重要であることを示している。

ABSTRACT

Occlusions often occur in face images in the wild, troubling face-related tasks such as landmark detection, 3D reconstruction, and face recognition. It is beneficial to extract face regions from unconstrained face images accurately. However, current face segmentation datasets suffer from small data volumes, few occlusion types, low resolution, and imprecise annotation, limiting the performance of data-driven-based algorithms. This paper proposes a novel face occlusion dataset with manually labeled face occlusions from the CelebA-HQ and the internet. The occlusion types cover sunglasses, spectacles, hands, masks, scarfs, microphones, etc. To the best of our knowledge, it is by far the largest and most comprehensive face occlusion dataset. Combining it with the attribute mask in CelebAMask-HQ, we trained a straightforward face segmentation model but obtained SOTA performance, convincingly demonstrating the effectiveness of the proposed dataset.

研究の動機と目的

• 制約のない環境における正確な顔抽出を妨げる、高品質で多様な顔の被掩データセットの不足に対処すること。
• さまざまな被掩タイプとテクスチャをカバーする包括的かつ正確にアノテートされたデータセットを提供することで、顔セグメンテーションの性能を向上させること。
• 顔抽出タスクにおいて、モデルアーキテクチャの複雑さよりも、データの質と多様性が優れていることを実証すること。
• スケーラブルで拡張可能なデータセットを構築し、より現実的なデータオーグメンテーションを可能にすることで一般化性能を向上させること。

提案手法

• CelebA-HQおよび追加のインターネットリソースから得た30,000枚の高解像度顔画像に対して、眼鏡、マスク、手、スカーフなどの被掩を手作業でアノテートする。
• CelebAMask-HQの事前生成された属性マスクと被掩マスクを統合し、切り捨てられた減算により正確な顔マスクを生成する：$M_{\text{face}} = \max(\hat{M}_{\text{face}} - M_{\text{occ}}, 0)$。
• 空間的、色彩的、被掩テクスチャの変換を含む、リアルタイムでのデータオーグメンテーションを適用し、データの多様性と現実性を向上させる。
• バイナリクロスエントロピー損失とオンラインハード例マイニング（OHEM）を用いて、ResNet-18バックボーンを搭載した軽量U-Netモデルを訓練する。
• 初期モデルを用いてFFHQからハードサンプルを選別し、それらをデータセットに追加することで、モデルのロバスト性を向上させる。
• Apple PencilとMagic Eraserアプリを用いて正確な手作業アノテーションを実施し、高いアノテーション品質を確保する。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様かつ正確にアノテートされた顔の被掩データセットは、顔セグメンテーションの性能を顕著に向上させることができるか？
• RQ2 被掩データの質と多様性は、モデルアーキテクチャの複雑さを上回る影響を及ぼすのか？
• RQ3 洗練された被掩データセットでトレーニングされた単純で軽量なモデルは、最先端の手法を上回る性能を発揮できるか？
• RQ4 被掩テクスチャの変動を伴うリアルタイムデータオーグメンテーションは、モデルの一般化性能を向上させるのにどの程度有効か？

主な発見

• 提案されたFaceOccデータセットには、30,000枚を超える画像が含まれており、多様で手作業でアノテートされた被掩が含まれており、これまでで最大かつ最も包括的な顔の被掩データセットである。
• FaceOccとCelebAMask-HQを用いて、ResNet-18バックボーンを搭載した単純なU-Netモデルを訓練したところ、COFWベンチマークで93.7%のIOUを達成し、過去のすべての手法を上回った。
• モデルはグローバル精度98.0%、再現率98.3%を達成し、両方の指標で従来のSOTA手法を顕著に上回った。
• Masiらの手法（$128\times128$）よりも高い入力解像度（$256\times256$）を採用したにもかかわらず、257 FPSという競争力のある推論速度を達成した。
• 結果から、複雑なモデル設計よりも高品質で多様なトレーニングデータが顕著に効果的であることが確認された。単純なモデルが、特別なアーキテクチャの装飾なしに、過去のSOTA手法を上回った。