[論文レビュー] Extended Labeled Faces in-the-Wild (ELFW): Augmenting Classes for Face Segmentation

Rafael Redondo, Jaume Gibert|arXiv (Cornell University)|Jun 24, 2020

Face recognition and analysis参考文献 76被引用数 7

ひとこと要約

本稿では、LFWの拡張版として、手動による再ラベル付けと合成データ増強を通じて、ヒゲ・マスク、サングラス、頭部装着物、および合成マウスマスクの新しいセマンティックカテゴリを追加した拡張ラベル付き顔画像データセット（ELFW）を紹介する。この手法により、拡張済みクラスおよび元のクラスの両方でセマンティックセグメンテーション性能が向上し、マウスマスクのような完全に合成されたカテゴリに対してもモデルの一般化が効果的に実現されている。

ABSTRACT

Existing face datasets often lack sufficient representation of occluding objects, which can hinder recognition, but also supply meaningful information to understand the visual context. In this work, we introduce Extended Labeled Faces in-the-Wild (ELFW), a dataset supplementing with additional face-related categories -- and also additional faces -- the originally released semantic labels in the vastly used Labeled Faces in-the-Wild (LFW) dataset. Additionally, two object-based data augmentation techniques are deployed to synthetically enrich under-represented categories which, in benchmarking experiments, reveal that not only segmenting the augmented categories improves, but also the remaining ones benefit.

研究の動機と目的

• 実世界の状況における顔認識を制限する、元のLFWデータセットにおける文脈的・遮蔽的オブジェクト表現の欠如に対処する。
• ヒゲ、サングラス、頭部装着物などの低頻度顔的属性のセグメンテーション精度を向上させるために、新たなラベルを追加したデータセットを拡張する。
• オブジェクトベースのデータ増強技術が、拡張済みクラスおよび非拡張済みクラスの両方のセグメンテーション性能を向上させる効果を評価する。
• 実世界のデータに存在しない完全に合成されたカテゴリ（例：マウスマスク）に対しても、ディープラーニングモデルの一般化を可能にする。

提案手法

• 皮膚、髪、背景のアノテーションに一貫性のない点を是正するため、元のLFWのセマンティックマップを手動で再ラベル付けおよび精査した。
• 元のLFWコレクションに含まれるラベルなしの追加顔画像をアノテートし、正確なセマンティックセグメンテーションラベルを用いてトレーニングセットを拡張した。
• サングラス、マウスマスク、遮蔽用の手の画像を顔に重ねることで、低頻度カテゴリを豊かにするための合成データ増強を実施した。
• カテゴリ固有の増強（例：サングラスのみ）とマルチカテゴリの増強（例：サングラス＋手）の2つの戦略を用い、一般化効果を評価した。
• 拡張されたELFWデータセット上で最先端のセグメンテーションモデル（FCNおよびDeepLabV3）を訓練し、Mean Intersection-over-Union（mIoU）およびクラスごとのIoU指標を用いて性能を評価した。
• 実世界のテスト画像を用いたフィールド実験を実施し、特に合成マウスマスクカテゴリに対する一般化能力を評価した。

実験結果

リサーチクエスチョン

• RQ1 合成データ増強は、実世界の顔データセットにおける低頻度顔オブジェクトカテゴリのセマンティックセグメンテーション性能を効果的に向上させることができるか？
• RQ2 特定のカテゴリ（例：サングラス、ヒゲ）を増強することで、それらのクラスだけでなく、元の非増強クラスのセグメンテーション性能もどの程度向上するか？
• RQ3 実世界のトレーニングデータに存在しない完全に合成されたカテゴリ（例：マウスマスク）に対しても、ディープラーニングモデルは一般化可能か？
• RQ4 単一カテゴリ vs. マルチカテゴリの増強戦略の違いが、制約のない環境下でのモデルの一般化および耐性にどのように影響するか？
• RQ5 手や顔の回転が著しくなるような複雑な遮蔽状況に直面した際、セグメンテーションモデルの失敗モードは何か？

主な発見

• ELFWデータセットは、1,000枚以上の新しいラベル付き顔画像を追加し、背景、皮膚、髪、ヒゲ・マスク、サングラス、頭部装着物、および合成マウスマスクの合計7つのセマンティックカテゴリを追加することで、LFWを効果的に拡張した。
• DeepLabV3はマルチカテゴリ増強を使用した際、mIoUでより高い向上を示した。特に、サングラスとヒゲ・マスクのカテゴリでは、それぞれの増強スキーム下で顕著な改善が見られた。
• 完全に合成されたマウスマスクカテゴリに対しても、トレーニングデータに実世界の例が存在しなかったにもかかわらず、モデルは正確なセグメンテーションを達成した。
• 通常の位置に配置された手は効果的にセグメンテーションされたが、頭部上部や髪の近くに配置された手は、頭部装着物と混同され、誤分類が発生した。
• 顔の回転が著しくなると、トラッキングの失敗や「ホラー効果」のようなアーティファクトが生じ、特にヒゲや顔の構造のセグメンテーションに悪影響を及えた。
• 増強戦略は増強済みクラスの性能向上に加え、非増強クラスに対しても一貫したmIoUの向上をもたらし、ポジティブなトランスファー学習効果が示された。