[논문 리뷰] Beyond Skin Tone: A Multidimensional Measure of Apparent Skin Color

William Thong, Przemyslaw Joniak외 1명|arXiv (Cornell University)|2023. 09. 10.

Evolutionary Psychology and Human BehaviorPsychology인용 수 3

한 줄 요약

이 논문은 단일 차원의 피부 톤 평가 척도인 피츠패트릭 척도를 넘어서, 시각적 밝기(L*)와 색상 각도(h*)를 조합한 다차원적 피부 색상 측정법을 제안한다. 이는 단순한 피부 톤을 넘어서 실제 피부 색상의 다양성을 포괄하는 데 목적이 있으며, 기존 컴퓨터 비전 데이터셋과 모델에서 드러나지 않았던 편향—특히 밝은 빨간 빛과 어두운 노란 빛 피부 톤에 대한 편향—을 드러내며, 공정성 평가가 단지 피츠패트릭 척도를 넘어서 색상의 다양성을 포함해야 한다는 점을 입증한다.

ABSTRACT

This paper strives to measure apparent skin color in computer vision, beyond a unidimensional scale on skin tone. In their seminal paper Gender Shades, Buolamwini and Gebru have shown how gender classification systems can be biased against women with darker skin tones. Subsequently, fairness researchers and practitioners have adopted the Fitzpatrick skin type classification as a common measure to assess skin color bias in computer vision systems. While effective, the Fitzpatrick scale only focuses on the skin tone ranging from light to dark. Towards a more comprehensive measure of skin color, we introduce the hue angle ranging from red to yellow. When applied to images, the hue dimension reveals additional biases related to skin color in both computer vision datasets and models. We then recommend multidimensional skin color scales, relying on both skin tone and hue, for fairness assessments.

연구 동기 및 목표

• 컴퓨터 비전 시스템의 공정성 평가에서 단일 차원 피부 톤 측정법(예: 피츠패트릭 척도)의 한계를 해결하기 위해.
• 피부 색상의 밝기 외에도 빨간 빛에서 노란 빛으로의 색상 변화에 초점을 맞춰, 이미지 데이터셋과 모델에서 발생하는 편향을 식별하고 정량화하기 위해.
• 시각적 밝기(L*)와 색상 각도(h*)를 기반으로 한 실용적이고 정량적이며 상호 수직인 피부 색상 평가 방법을 개발하여 공정성 평가 기준을 향상시키기 위해.
• 기존의 단일 톤 기반 지표에서는 드러나지 않는 바이어스가 존재함을 입증하며, 피부 톤과 색상에 따라 성별 및 속성 예측 정확도에 심각한 편향이 존재함을 보여주기 위해.
• 데이터 수집, 모델 훈련, 구현 파이프라인 전반에 걸쳐 다차원 피부 색상 척도의 도입을 촉구하기 위해.

제안 방법

• 이미지의 시각적 피부 색상을 CIELab 색상 공간을 사용해 측정하며, 피부 톤의 지표로 L*(밝기)와 빨간 빛에서 노란 빛으로의 색상 변화 지표로 h*(색상 각도)를 추출한다.
• 다양한 컴퓨터 비전 데이터셋(예: CelebAMask-HQ)에서 공정성 평가를 위해 다차원 피부 색상 점수를 적용하며, L*와 h* 축을 따라 합성 이미지 변형을 생성한다.
• 잠재 공간 조작 기법(예: e4e, StyleGAN3, InterfaceGAN)을 사용해 L*와 h*에 대한 제어된 변화를 가진 이미지를 생성함으로써, 톤과 색상 차원 간의 수직성(orthogonality)을 확보한다.
• 원본 이미지가 아닌 재구성된 이미지와의 성능 비교를 통해 피부 색상 변화가 예측 정확도에 미치는 인과적 영향을 고립시키기 위해.
• 성별 및 미소 분류 작업에 대한 통제 실험을 수행하여 바이어스를 평가하며, 여러 상업적 및 비상업적 모델에서 이진 정확도를 주요 지표로 사용한다.
• L*와 h* 차원이 상호 수직임을 검증하기 위해, 한 쪽을 변경해도 다른 쪽에 영향을 주지 않음을 보여주며, 이는 피츠패트릭 척도와 달리 피부 톤과 색상이 함께 변하는 '백색' 속성과는 다르게, 이 연구에서 사용된 L*와 h*가 독립적이고 해석 가능한 차원임을 입증한다.

실험 결과

연구 질문

• RQ1 일반적인 컴퓨터 비전 데이터셋이 밝은 빨간 피부 톤에 대해 얼마나 편향되어 있으며, 어두운 노란 피부 톤은 얼마나 부족하게 표현되어 있는가?
• RQ2 편향된 데이터셋으로 훈련된 생성 모델이 출력에서 다차원 피부 색상 편향을 어떻게 재현하는가?
• RQ3 피부 톤(L*)과 피부 색상(h*)이 얼굴 관련 작업(예: 성별 및 미소 분류)의 모델 예측에 미치는 인과적 영향은 무엇인가?
• RQ4 단일 차원 피부 톤 지표에만 의존할 경우 기존의 공정성 평가 방법은 어떤 방식으로 바이어스를 탐지하지 못하는가?
• RQ5 다차원 피부 색상 측정법이 컴퓨터 비전 시스템에서 사회적으로 중요한 바이어스를 탐지하고 완화하는 데 기여할 수 있는가?

주요 결과

• AWS 모델에서 남성 샘플의 성별 분류 정확도가 피부 톤을 밝게 조정함으로써 최대 4.16%p 감소(94.82%에서 90.66%로)하여 여성 분류에 대해 밝은 피부에 대한 강한 편향이 있음을 시사한다.
• 모든 모델에서 피부 색상의 빨간 빛 성향을 높일수록 남성 샘플의 성별 분류 정확도가 향상되며, 이는 이전에 보고되지 않은 빨간 빛 피부 톤을 선호하는 편향을 시사한다.
• Azure 모델에서 빨간 빛 성향이 강한 피부 색상은 비미소 표정을 가진 사람의 미소 분류 정확도를 11.08%p 감소시켜(80.84%에서 69.76%로), 빨간 피부 색상일수록 잘못된 미소 예측(거짓 긍정)의 경향이 있음을 나타낸다.
• 어두운 피부 톤이나 노란 빛 성향이 강한 피부 색상은 미소를 짓는 사람의 정확도를 낮추며, 이는 단일 톤 지표로는 포착되지 않는 복잡한 다차원 편향 패tern을 드러낸다.
• CelebA의 '백색' 속성은 톤과 색상 양쪽에 영향을 받기 때문에, 인과적 영향을 고립시키기에 부적합하며, 이 연구에서 사용된 L*와 h*는 서로 독립적이므로 이에 비해 더 유용하다.
• 제안된 L*와 h* 측정법은 상호 수직이다: L*를 변경해도 h*에 영향을 주지 않으며, 반대로도 마찬가지다. 이는 공정성 평가 기준으로서 독립적이고 해석 가능한 차원으로 사용될 수 있음을 검증한다.