[論文レビュー] Analysis of Manual and Automated Skin Tone Assignments for Face Recognition Applications

K. S. Krishnapriya, Michael C. King+1 more|arXiv (Cornell University)|Apr 29, 2021

Face recognition and analysis参考文献 34被引用数 7

ひとこと要約

本論文は、フィッツパトリックスケールおよび個別タイプロジック角（ITA）を用いて、顔認識における手動および自動皮膚色割り当てを評価する。人為的レーティングは皮膚色ラベル付けにおいて顕著な不一致を示すが、色補正を施した後、自動ITAベースの推定は手動コンセンサスと96％以上の一致を示し、人間の評価者間信頼性を上回り、バイアス分析に向けたスケーラブルで再現可能なかつ一貫性のあるラベル付けを提供する。

ABSTRACT

News reports have suggested that darker skin tone causes an increase in face recognition errors. The Fitzpatrick scale is widely used in dermatology to classify sensitivity to sun exposure and skin tone. In this paper, we analyze a set of manual Fitzpatrick skin type assignments and also employ the individual typology angle to automatically estimate the skin tone from face images. The set of manual skin tone rating experiments shows that there are inconsistencies between human raters that are difficult to eliminate. Efforts to automate skin tone rating suggest that it is particularly challenging on images collected without a calibration object in the scene. However, after the color-correction, the level of agreement between automated and manual approaches is found to be 96% or better for the MORPH images. To our knowledge, this is the first work to: (a) examine the consistency of manual skin tone ratings across observers, (b) document that there is substantial variation in the rating of the same image by different observers even when exemplar images are given for guidance and all images are color-corrected, and (c) compare manual versus automated skin tone ratings.

研究の動機と目的

• 顔画像に対するフィッツパトリックスケールを用いた人為的皮膚色レーティングの一貫性を評価すること。
• 画像の色の変動および照明の影響が、手動皮膚色レーティングの信頼性に与える影響を評価すること。
• 個別タイプロジック角（ITA）を用いた自動皮膚色推定手法の開発および検証すること。
• 自動ITAベースの皮膚色割り当てと手動コンセンサスレーティングの正確性および一貫性を比較すること。
• 顔認識バイアス研究における皮膚色ラベル付けのためのスケーラブルで再現可能な手法を提供すること。

提案手法

• MORPHデータセットの色補正済み顔画像を用いて、フィッツパトリックスケールに基づく手動皮膚色レーティング実験を実施した。
• 一貫性を高めるために、レーティング担当者に参照用の色サンプルおよび例示画像を提供した。
• 顔画像からの個別タイプロジック角（ITA）測定に基づく自動皮膚色推定パイプラインを実装した。
• 照明およびセンサーのばらつきの影響を低減するため、画像を色補正した。
• 連続的なITA値を離散的フィッツパトリックに類似した皮膚色カテゴリー（I–VI）にマッピングするためのカスタマイズされたITAしきい値範囲を定義した。
• カテゴリー的類似度指標を用いて、手動コンセンサスレーティングと自動ITA出力との一致度を定量化した。

実験結果

リサーチクエスチョン

• RQ1 例示画像および色補正済み画像を用いても、人為的レーティング担当者が顔画像のフィッツパトリック皮膚色カテゴリーを割り当てる際、どの程度一貫性を示すのか？
• RQ2 画像の照明およびセンサーのばらつきが、手動皮膚色レーティングの信頼性にどの程度影響を及えるのか？
• RQ3 自動ITAベースの手法と手動コンセンサスレーティングとの間で、皮膚色分類の一致度はどの程度高いのか？
• RQ4 自動皮膚色割り当ては、人間の評価者間の一貫性と同等の水準に達することができるか？
• RQ5 色補正は、手動および自動両手法における皮膚色ラベル付けのばらつきをどの程度低減するのか？

主な発見

• 例示画像および色補正済み画像を用いても、人為的レーティング担当者の皮膚色レーティングには顕著な不一致が見られ、許容値なしの状況では評価者間一致度が90％未満に低下した。
• 色補正を施した後、手動コンセンサスレーティングと自動ITAベースの皮膚色割り当てとの一致度は96％以上に達し、高い信頼性を示した。
• 自動ITAと手動コンセンサスの一致度は、任意の2名の個人的評価者間の一致度と同等であり、自動手法の一貫性が妥当であることを裏付けた。
• 本研究では、照明およびセンサーのばらつきが、特に制御されていない環境下で、手動および自動皮膚色推定における誤分類の主な要因であると特定した。
• 色補正および例示ガイドの改善にもかかわらず、人為的レーティング担当者の不一致は依然として存在し、カテゴリカルな皮膚色ラベル付けに内在する主観性が示された。
• 自動ITA手法は、大規模な顔認識バイアス研究における手動ラベル付けの代替手段として、スケーラブルで再現可能かつ一貫性のある選択肢を提供する。