[論文レビュー] K-FACE: A Large-Scale KIST Face Database in Consideration with Unconstrained Environments

Yeji Choi, Hyun Jung Park+5 more|arXiv (Cornell University)|Mar 3, 2021

Face recognition and analysis参考文献 15被引用数 7

ひとこと要約

K-FACE は、1,000人の多様な被験者からなる大規模で高品質な顔データベースであり、制御された照明とマルチカメラ設定を用いた半球型デバイスで系統的に撮影された1,755万枚の画像を含む。ポーズ、照明、表情、遮蔽の正確な分析が可能で、性別と年齢のバランスが取れており、非制約的顔認識、年齢推定、3次元顔モデリングの分野における強固な研究を支援する。

ABSTRACT

In this paper, we introduce a new large-scale face database from KIST, denoted as K-FACE, and describe a novel capturing device specifically designed to obtain the data. The K-FACE database contains more than 1 million high-quality images of 1,000 subjects selected by considering the ratio of gender and age groups. It includes a variety of attributes, including 27 poses, 35 lighting conditions, three expressions, and occlusions by the combination of five types of accessories. As the K-FACE database is systematically constructed through a hemispherical capturing system with elaborate lighting control and multiple cameras, it is possible to accurately analyze the effects of factors that cause performance degradation, such as poses, lighting changes, and accessories. We consider not only the balance of external environmental factors, such as pose and lighting, but also the balance of personal characteristics such as gender and age group. The gender ratio is the same, while the age groups of subjects are uniformly distributed from the 20s to 50s for both genders. The K-FACE database can be extensively utilized in various vision tasks, such as face recognition, face frontalization, illumination normalization, face age estimation, and three-dimensional face model generation. We expect systematic diversity and uniformity of the K-FACE database to promote these research fields.

研究の動機と目的

• 多様な環境的および人口統計的要因を含む、大規模で高品質で系統的にバランスの取れた顔データベースの不足に対処すること。
• 既存のデータベースの限界、例えば性別や年齢の不均衡、ポーズや照明のラベル付けの不足、遮蔽の多様性の欠如を克服すること。
• すべての属性について正確なアノテーションを備えた標準化された高精細データセットを提供し、顔認識および関連するビジョンタスクの信頼性のある評価を可能にすること。
• 極端な照明、顔の表情、アクセサリーによる遮蔽を含む、現実世界の困難な状況における研究を支援すること、とりわけ新型コロナウイルス感染後において特に重要である。
• 制御された、多様で均等に分布したデータを通じて、顔認識、年齢推定、照明正規化、3次元顔再構築の分野における前進を促進すること。

提案手法

• 27台の同期化されたDSLRカメラと10台の制御可能な照明ユニットを備えたカスタム半球型撮影システムを設計し、マルチビュー、マルチライティングの画像を撮影した。
• 27の異なる設定におけるロールおよびヨー角を用いてポーズを系統的に変化させ、非制約的視認条件を模擬した。
• 照明の強度（0–1,000 ルクス）と方向を35の異なる組み合わせにわたり制御し、現実世界の照明変動をモデル化した。
• 中立、笑顔、嫌悪の3種類の顔の表情を撮影し、5種類のアクセサリー（眼鏡、帽子、マスクなど）を用いて遮蔽状況を模擬した。
• 被験者全員にわたり性別と年齢（20代～50代）のバランスを確保し、1人あたり17,550枚の画像を確保することで一貫したデータ分布を実現した。
• 全属性（ポーズ、照明、表情、遮蔽タイプなど）の正確なアノテーションを保証するため、手動によるデータ検査を実施した。

実験結果

リサーチクエスチョン

• RQ1 27のポーズ設定におけるポーズの変動が、非制約的顔認識における深層学習モデルの性能にどの程度影響を与えるか？
• RQ2 照明の強度と方向の変動（35条件）が、顔認識および照明正規化アルゴリズムの精度に与える影響は何か？
• RQ3 顔認識モデルは、マスク、眼鏡、帽子などの複数のアクセサリーによる遮蔽を、現実世界の状況でどの程度効果的に処理できるか？
• RQ4 K-FACEデータベースは、多様なポーズ、照明、表情条件下で正確な年齢推定および老化シミュレーションを可能にするか？
• RQ5 K-FACEに見られる性別と年齢のバランスが、不均衡なデータセットと比較して、訓練済みモデルの公平性と一般化性能をどの程度向上させるか？

主な発見

• K-FACEデータベースには、1,000人の被験者からなる17,550,000枚の高解像度画像（2,592×1,728）が含まれており、被験者1人あたり正確に17,550枚の画像が存在し、均一なデータ分布が保証されている。
• データベースには27の異なるポーズ、35の照明条件（強度と方向の両方で変動）、3種類の顔の表情、および5種類のアクセサリーによる遮蔽が含まれる。
• 性別バランスは50.2％の女性を達成しており、年齢分布は20代から50代まで均等に分布しており、他のデータセットで一般的な正の歪みを回避している。
• 半球型撮影システムにより、CCTV用の上位角度やATM、ボディカメラ用の下位角度からの画像取得が可能となり、現実世界への応用性が向上した。
• 照明強度（0–1,000 ルクス）の組み込みにより、画像ベースの照明正規化および現実的な照明モデリングの高度な研究が可能になった。
• マスクを含む極端な条件下での顔認識の評価が堅実に可能となり、パンデミック後における識別システムにとって特に重要である。