[논문 리뷰] Directional Bias Amplification

Angelina Wang, Olga Russakovsky|arXiv (Cornell University)|2021. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 61인용 수 20

한 줄 요약

이 논문은 보호된 속성에서 작업으로의 방향성 흐름(A→T)과 작업에서 보호된 속성으로의 흐름(T→A)을 분리하여 별개의 흐름으로 간주함으로써 기존의 메트릭이 이러한 경로를 혼동하는 한계를 해결한 새로운 메트릭인 방향성 편향 강화(BiasAmp→)를 제안한다. 이 방법은 기초 빈도를 고려하고 타겟된 간섭을 가능하게 하여 공정성 평가를 향상시키며, 실증 결과는 모델이 낮은 편향 강화를 보일 수 있음에도 불구하고 특히 위험 예측 설정에서 높은 공정성 격차를 보일 수 있음을 보여준다.

ABSTRACT

Mitigating bias in machine learning systems requires refining our understanding of bias propagation pathways: from societal structures to large-scale data to trained models to impact on society. In this work, we focus on one aspect of the problem, namely bias amplification: the tendency of models to amplify the biases present in the data they are trained on. A metric for measuring bias amplification was introduced in the seminal work by Zhao et al. (2017); however, as we demonstrate, this metric suffers from a number of shortcomings including conflating different types of bias amplification and failing to account for varying base rates of protected attributes. We introduce and analyze a new, decoupled metric for measuring bias amplification, $ ext{BiasAmp}_{ ightarrow}$ (Directional Bias Amplification). We thoroughly analyze and discuss both the technical assumptions and normative implications of this metric. We provide suggestions about its measurement by cautioning against predicting sensitive attributes, encouraging the use of confidence intervals due to fluctuations in the fairness of models across runs, and discussing the limitations of what this metric captures. Throughout this paper, we work to provide an interrogative look at the technical measurement of bias amplification, guided by our normative ideas of what we want it to encompass. Code is located at https://github.com/princetonvisualai/directional-bias-amp

연구 동기 및 목표

• 기존의 편향 강화 메트릭이 다양한 유형의 편향을 혼동하고 보호된 속성의 기초 빈도를 고려하지 못하는 한계를 해결하기 위해.
• A→T와 T→A 편향 강화 경로를 명확히 구분할 수 있는 보다 정밀하고 규범적으로 정보를 제공하는 메트릭을 개발하기 위해.
• 어떤 유형의 편향 강화가 실행 가능하고 맥락적으로 관련성이 있는지 명확히 하여 더 공정한 모델 평가를 이끌기 위해.
• 훈련 데이터의 상관관계가 체계적 불평등을 반영할 수 있는 설정에서 편향 강화를 유일한 공정성 메트릭으로 남용하는 것에 대한 경고를 제공하기 위해.
• 모델의 랜덤 시드에 따른 변동성으로 인해 공정성 메트릭이 불안정해질 수 있으므로, 신뢰구간 사용과 공정성 메트릭의 신중한 해석을 권장하기 위해.

제안 방법

• 보호된 속성 A에서 작업 T로의 방향성 흐름(A→T)과 T에서 A로의 흐름(T→A)을 구분하여 편향 강화를 측정하는 새로운 메트릭인 BiasAmp→를 제안한다.
• 정확도와 분리되어 보호된 속성의 기초 빈도를 반영하여 실제 세계의 공정성 문제를 반영하도록 설계된다.
• 예측 오류의 분해를 통해 훈련 데이터에서 기존 상관관계를 강화하는 오류를 분리하며, 특히 기존 연관성을 강화하거나 왜곡하는 오분류에 초점을 맞춘다.
• 작은 랜덤 시드 변화로 인해 공정성 메트릭의 변동성이 크게 증가하는 라슈모닉 효과(Rashomon Effect)를 고려하기 위해 신뢰구간을 활용한다.
• 감정적 속성 예측을 가능한 한 피하는 것이 바람직하며, 이는 T→A 강화를 즉각적으로 제거하고 규범적 모호성을 줄이기 때문이다.
• 컴퓨터 비전(예: 성별 및 그림 분류)과 범죄 위험 예측(예: COMPAS)을 포함한 다양한 설정에서 메트릭을 평가하여 맥락에 따라 타당성이 있음을 입증한다.

실험 결과

연구 질문

• RQ1 편향 강화를 의미 있는 방향성 경로(A→T 대비 T→A)로 분해하여 진단 정밀도를 향상시킬 수 있는가?
• RQ2 기존의 편향 강화 메트릭이 보호된 속성의 기초 빈도를 얼마나 잘못 고려하는가? 이로 인해 공정성 평가에 어떤 영향을 미치는가?
• RQ3 미래 결과가 알려져 있지 않고 레이블이 편향된 설정(예: 위험 예측)에서는 낮은 편향 강화가 여전히 높은 공정성 격차와 공존할 수 있는가?
• RQ4 랜덤 시드에 따른 모델 변동성이 공정성 메트릭의 신뢰성에 어떤 영향을 미치며, 신뢰구간은 이를 어떻게 완화하는가?
• RQ5 언제 편향 강화가 적절한 공정성 메트릭이며, 언제 다른 공정성 기준으로 대체해야 하는가?

주요 결과

• 제안된 BiasAmp→ 메트릭은 A→T와 T→A 편향 강화를 성공적으로 분리하여 더 정교하고 규범적으로 정보를 제공하는 간섭을 가능하게 한다.
• COMPAS 위험 예측 설정에서 모든 임계값에서 편향 강화는 거의 0에 가까웠지만, 여전히 심각한 양성 예측률(기각률) 격차가 존재하여 낮은 강화가 공정성을 의미하지는 않음을 입증한다.
• 완벽한 정확도를 가진 모델은 편향 강화가 0이 되며, 이는 편향 강화가 정확도와 충돌하지 않음을 보여준다.
• 메트릭은 감정적 속성 예측을 피할 경우 T→A 강화를 제거할 수 있음을 드러내며, 이는 모델 설계에 있어 강력한 규범적 함의를 가진다.
• 모델 실행 간 높은 변동성으로 인해 BiasAmp→를 해석할 때 신뢰구간이 필수적이며, 이는 공정성 메트릭에서의 라슈모닉 효과를 강조한다.
• 역사적으로 편향된 레이블이나 관측할 수 없는 미래 결과가 존재하는 설정(예: 범죄 재범 예측)에서는 편향 강화가 공정성 메트릭으로서 충분하지 않다.