[論文レビュー] Beyond Skin Tone: A Multidimensional Measure of Apparent Skin Color

William Thong, Przemyslaw Joniak+1 more|arXiv (Cornell University)|Sep 10, 2023

Evolutionary Psychology and Human BehaviorPsychology被引用数 3

ひとこと要約

本論文は、皮膚色の明るさ（L*）と色相角（h*）を組み合わせた多次元的皮膚色測定法を提案し、一様な皮膚色トーンにとどまらない、皮膚色の外観的特徴を捉える。この手法により、コンピュータビジョンデータセットおよびモデルに隠れていた偏りが明らかになった。特に、薄いレッド系と濃いイエロー系の皮膚色に対して顕著な偏りが確認され、公平性評価においてフィッツパトリックスケールを越えて色相を含める必要があることが示された。

ABSTRACT

This paper strives to measure apparent skin color in computer vision, beyond a unidimensional scale on skin tone. In their seminal paper Gender Shades, Buolamwini and Gebru have shown how gender classification systems can be biased against women with darker skin tones. Subsequently, fairness researchers and practitioners have adopted the Fitzpatrick skin type classification as a common measure to assess skin color bias in computer vision systems. While effective, the Fitzpatrick scale only focuses on the skin tone ranging from light to dark. Towards a more comprehensive measure of skin color, we introduce the hue angle ranging from red to yellow. When applied to images, the hue dimension reveals additional biases related to skin color in both computer vision datasets and models. We then recommend multidimensional skin color scales, relying on both skin tone and hue, for fairness assessments.

研究の動機と目的

• コンピュータビジョンシステムの公平性評価において、フィッツパトリックスケールのような一次元的皮膚色測定法の限界を是正すること。
• 明るさ以外の要因、特にレッドからイエローへの色相変化に関連する皮膚色バイアスを特定・定量すること。
• 知覚的明るさ（L*）と色相角（h*）を用いた、実用的で定量的かつ直交する皮膚色スコアリング手法を開発し、公平性ベンチマークの向上を図ること。
• 現在のモデルが皮膚色と色相に基づいて顕著なバイアスを示しているが、これは従来のトーンのみの指標では見えないことを実証すること。
• データ収集、モデル学習、デプロイメントの各プロセスにおいて、多次元的皮膚色スケールの導入を提唱すること。

提案手法

• CIELab色空間を用いて画像内の皮膚色の外観を測定し、皮膚トーンの代理指標としてL*（明るさ）と、赤からイエローへの色相の代理指標としてh*（色相角）を抽出する。
• 多様なコンピュータビジョンデータセット（例：CelebAMask-HQ）において、L*およびh*軸に沿った合成的画像操作を用いて、公平性をベンチマーク化する。
• 潜在空間操作技術（例：e4e、StyleGAN3、InterfaceGAN）を用いて、L*とh*に制御された変更が加えられた画像を生成し、トーンと色相の次元が直交することを保証する。
• 元画像ではなく再構成された画像を基準として、モデルの性能を比較することで、皮膚色変更が予測精度に与える因果的影響を隔離する。
• 性別および笑顔分類タスクにおける制御実験を実施し、バイナリ精度を主な指標として、複数の商用および非商用モデルのバイアスを評価する。
• L*とh*の次元が直交していることを検証する。具体的には、一方の値を変更しても他方が影響を受けないこと（例：CelebAの「pale」属性はトーンと色相の両方に相関するが、本研究で用いたL*とh*は直交している）を示す。

実験結果

リサーチクエスチョン

• RQ1 一般的なコンピュータビジョンデータセットは、薄いレッド系皮膚色にどれほど偏っており、濃いイエロー系皮膚色はどれほど不足しているか？
• RQ2 偏りのあるデータセットで学習された生成モデルは、出力において多次元的皮膚色バイアスをどのように再現するか？
• RQ3 顔関連タスク（例：性別分類、笑顔分類）におけるモデル予測に、皮膚トーン（L*）と皮膚色相（h*）が因果的に及ぼす影響は何か？
• RQ4 従来の一次元的皮膚色指標に依存する公平性評価手法は、なぜバイアスを検出できないのか？
• RQ5 多次元的皮膚色測定法は、コンピュータビジョンシステムにおける社会的関連バイアスの検出および是正を改善できるか？

主な発見

• AWSモデルにおいて、男性サンプルの性別分類精度が、皮膚トーンを明るくすることで最大4.16ポイント低下（94.82% → 90.66%）し、女性分類に対して明るい皮膚色に強いバイアスがあることが示された。
• すべてのモデルで、皮膚色相をレッド寄りにすることで、男性サンプルの性別分類精度が向上し、以前に報告されていなかったレッド系皮膚色に有利なバイアスがあることが示された。
• Azureモデルにおいて、笑わない人物の笑顔分類精度が、皮膚色相をレッド寄りにすることで11.08ポイント低下（80.84% → 69.76%）し、皮膚色がレッド寄りになると誤って「笑顔」と分類するバイアス（偽陽性）があることが示された。
• 皮膚トーンが濃い、または色相がイエロー寄りになると、笑顔の人物の分類精度が低下し、トーンのみの指標では捉えきれない複雑な多次元バイアスパターンが明らかになった。
• CelebAの「pale」属性はトーンと色相の両方に相関しており、因果的影響を隔離するには不適切であるのに対し、本研究で用いたL*とh*の次元は直交しており、独立的かつ解釈可能な公平性ベンチマークの指標として有効である。
• 提案されたL*とh*の測定法は直交している：L*を変更してもh*に影響せず、逆も同様である。これにより、公平性ベンチマークに用いる独立的かつ解釈可能な次元としての有効性が裏付けられた。