[논문 리뷰] Men Also Do Laundry: Multi-Attribute Bias Amplification

Dora Zhao, Jerone T. A. Andrews외 1명|arXiv (Cornell University)|2022. 10. 21.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 단일 속성 메트릭이 포착하지 못하는 다중 속성 상관관계를 고려해, 다양한 속성 조합에 걸쳐 편향 증폭을 탐지할 수 있는 새로운 메트릭인 다중속성 편향 증폭을 소개한다. 저자들은 단일 속성에 초점을 맞춘 편향 완화 방법이 간접적으로 다중속성 편향을 악화시킬 수 있음을 보여주며, 공정성 평가에서 다중속성 평가의 필요성을 강조한다.

ABSTRACT

As computer vision systems become more widely deployed, there is increasing concern from both the research community and the public that these systems are not only reproducing but amplifying harmful social biases. The phenomenon of bias amplification, which is the focus of this work, refers to models amplifying inherent training set biases at test time. Existing metrics measure bias amplification with respect to single annotated attributes (e.g., $ exttt{computer}$). However, several visual datasets consist of images with multiple attribute annotations. We show models can learn to exploit correlations with respect to multiple attributes (e.g., {$ exttt{computer}$, $ exttt{keyboard}$}), which are not accounted for by current metrics. In addition, we show current metrics can give the erroneous impression that minimal or no bias amplification has occurred as they involve aggregating over positive and negative values. Further, these metrics lack a clear desired value, making them difficult to interpret. To address these shortcomings, we propose a new metric: Multi-Attribute Bias Amplification. We validate our proposed metric through an analysis of gender bias amplification on the COCO and imSitu datasets. Finally, we benchmark bias mitigation methods using our proposed metric, suggesting possible avenues for future bias mitigation

연구 동기 및 목표

• 기존의 편향 증폭 메트릭이 단일 속성만 평가하여 데이터셋 내 다중속성 상관관계를 놓치는 한계를 해결하기 위해.
• 기존 메트릭이 양수와 음수 점수를 평균화함으로써 심각한 편향 증폭을 가림으로써 오해를 낳을 수 있음을 보여주기 위해.
• 다양한 속성 조합에 걸쳐 편향 증폭을 평가하는 새로운 메트릭을 제안하여, 모델의 공정성에 대해 더 정확하고 해석 가능한 평가를 제공하기 위해.
• 새로운 메트릭을 사용해 기존의 편향 완화 기법을 벤치마킹하여, 단일 속성에 초점을 맞춘 완화가 다중속성 편향을 악화시킬 수 있음을 드러내기 위해.
• 데이터셋 균형 조절의 부족함을 강조하고, 합성 데이터 증강이 다중속성 편향을 해결하는 데 잠재력을 지닌다는 것을 밝히기 위해.

제안 방법

• 기존의 편향 증폭 메트릭(Zhao et al., 2017; Wang & Russakovsky, 2021)을 확장하여, 단일 속성이 아닌 속성 조합에 걸쳐 편향 증폭을 평가한다.
• 훈련 및 테스트 세트에서 그룹별 속성 비율 간의 원시적 차이와 절대적 차이를 사용하여 증폭을 측정함으로써, 양수와 음수 값의 상쇄를 방지한다.
• COCO, imSitu, CelebA에서 훈련된 다중라벨 분류 모델에 메트릭을 적용하며, 그룹 레이블로 성별 표현과 머리카락 색상에 초점을 맞춘다.
• 다양한 속성이 동시에 발생할 때 모델이 편향을 어떻게 증폭하거나 억제하는지 캡처하는 다중속성 편향 증폭 점수를 도입한다.
• 기본적으로 모든 속성 조합을 동일하게 가중치를 두는 공정성 평가 프레임워크를 제안하지만, 맥락에 맞는 재가중치 조정이 가능하도록 설계한다.
• 데이터 균형 조절 및 데이터 수리(Agarwal et al., 2020)를 포함한 완화 전략을 평가하여, 단일 및 다중속성 편향에 대한 영향을 분석한다.

실험 결과

연구 질문

• RQ1 단일 속성 분석에서는 드러나지 않는 속성 조합에서 모델이 얼마나 편향 증폭을 겪는가?
• RQ2 기존의 편향 증폭 메트릭이 양수와 음수 점수의 상쇄로 인해 다중속성 편향을 포착하지 못하는 방식은 어떠한가?
• RQ3 단일 속성에 대응하도록 설계된 편향 완화 방법이 다중속성 환경에서 오히려 편향 증폭을 증가시킬 수 있는가?
• RQ4 완전히 균형 잡힌 데이터셋에서도 다중속성 편향 증폭이 감지될 수 있는가? 이는 모델 수준의 편향을 시사하는가?
• RQ5 다중속성 공정성 측정에 있어 애너테이션된 속성과 프록시 그룹 레이블에 의존하는 데에는 어떤 한계가 있는가?

주요 결과

• 모델은 단일 속성보다 다중 속성 조합에서 평가했을 때 훨씬 더 높은 수준의 편향 증폭을 보이며, 다중속성 편향은 단일 속성 메트릭에 의해 종종 저평가된다.
• 제안된 다중속성 편향 증폭 메트릭은 심지어 균형 잡힌 데이터셋에서도 속성 조합 간의 편향 증폭이 발생함을 드러내며, 데이터 불균형을 초월한 모델 수준의 편향이 있음을 시사한다.
• 단일 속성 편향을 감소시키는 완화 방법이 다중속성 편향 증폭을 증가시킬 수 있음을 보여주며, 공정성 개선 조치에서 중요한 트레이드오프를 입증한다.
• 메트릭은 다중속성 편향 증폭이 데이터 불균형 때문만은 아니며, 개별 속성이 균형 잡혀 있더라도 여전히 지속됨을 보여주며, 이는 모델의 내재적 편향을 시사한다.
• 이 연구는 다중속성 편향 증폭이 이진 그룹 외에도 감지 가능함을 입증하며, 예를 들어 CelebA의 머리카락 색상과 같이 비이진 그룹에 대해서도 공정성 평가 범위를 확장함을 보여준다.
• 저자들은 프록시 그룹 레이블(예: 외모에서 유추한 성별)에 의존할 경우 유해한 스테레오타입을 강화하고 공정성 평가를 제한함을 발견하며, 현재 메트릭의 핵심 윤리적 한계를 부각한다.