[논문 리뷰] Can Active Learning Preemptively Mitigate Fairness Issues?

Frédéric Branchaud-Charron, Parmida Atighehchian외 3명|arXiv (Cornell University)|2021. 04. 14.

Machine Learning and Data Classification참고 문헌 23인용 수 5

한 줄 요약

이 논문은 불확실성 기반 활성 학습(BALD)이 보호 그룹 간의 지식적 불확실성 감소를 통해 기계 학습 모델의 공정성 문제를 사전에 개선할 수 있는지 조사한다. BALD는 i.i.d. 샘플링 대비 예측 정확도와 예측 정합성(predictive parity)을 크게 향상시키며, 민감 속성에 대한 사전 지식 없이도 기울기 역전(gradient reversal)과 조합할 경우 공정성 향상에 더욱 기여함을 보여준다.

ABSTRACT

Dataset bias is one of the prevailing causes of unfairness in machine learning. Addressing fairness at the data collection and dataset preparation stages therefore becomes an essential part of training fairer algorithms. In particular, active learning (AL) algorithms show promise for the task by drawing importance to the most informative training samples. However, the effect and interaction between existing AL algorithms and algorithmic fairness remain under-explored. In this paper, we study whether models trained with uncertainty-based AL heuristics such as BALD are fairer in their decisions with respect to a protected class than those trained with identically independently distributed (i.i.d.) sampling. We found a significant improvement on predictive parity when using BALD, while also improving accuracy compared to i.i.d. sampling. We also explore the interaction of algorithmic fairness methods such as gradient reversal (GRAD) and BALD. We found that, while addressing different fairness issues, their interaction further improves the results on most benchmarks and metrics we explored.

연구 동기 및 목표

• BALD를 사용한 활성 학습이 기계 학습 모델의 공정성 문제를 사전에 완화할 수 있는지 조사하기.
• 민감 속성에 대한 지식이 없더라도 BALD가 다수 집단과 少수 집단 간의 예측 정합성 격차를 줄일 수 있는지 평가하기.
• BALD와 공정성 인식 기법(예: 기울기 역전, GRAD) 간의 상호작용이 공정성 지표 향상에 어떻게 기여하는지 검토하기.
• BALD의 성능을 균일 샘플링 및 공정성 인식 기반 베이스라인과 비교하여 공정성 및 정확도 측면에서 평가하기.

제안 방법

• 모델 예측과 사후 가중치 간의 상호정보량을 기반으로 가장 정보량이 많은 샘플을 선택하기 위해 베이지안 활성 학습 히우리스틱인 BALD를 사용한다.
• BALD의 상호정보량 계산에서 계산이 불가능한 기대값을 근사하기 위해 몬테카를로 드롭아웃을 적용한다.
• 기울기 역전(GRAD)을 공정성 정규화 기법으로 적용하여 모델이 허위 민감 속성에 의존하지 않도록 한다.
• 매 50개의 활성으로 선택된 샘플 이후마다 VGG-16 모델을 20 에포크 동안 학습시킨다.
• 정확도와 예측 정합성을 측정하기 위해 균형 잡힌 검증 세트를 사용하여 모델 성능을 평가한다.
• 세 가지 다른 난수 시드를 사용하여 실험을 반복하여 표준편차를 계산하고 결과의 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 BALD를 사용한 활성 학습이 보호 그룹 간 모델 예측의 공정성 격차를 줄일 수 있는가?
• RQ2 민감 속성이 알려지지 않은 상황에서도 BALD는 균일 샘플링 대비 예측 정합성을 향상시키는가?
• RQ3 BALD와 기울기 역전을 조합했을 때 예측 정합성 및 정확도와 같은 공정성 지표에 어떤 영향을 미치는가?
• RQ4 BALD는 그룹 간 지식적 불확실성의 차이를 감소시켜 더 공정한 모델 행동을 기여하는가?

주요 결과

• BALD는 소수 집단에 대해 10% 레이블링 시 예측 정합성 3.56 ± 1.70을 달성하여 균일 샘플링(10.73 ± 2.70)보다 유의미하게 뛰어나다.
• BALD는 소수 집단에서 정확도를 91.66 ± 0.36%까지 향상시켰으며, 균일 샘플링 대비 87.23 ± 1.77%보다 높다.
• BALD와 기울기 역전(λ=0.5)을 조합하면 예측 정합성을 2.16 ± 1.13으로 감소시켜 BALD 단독 및 균일 샘플링에 GRAD 적용 시보다 뛰어난 성능을 보였다.
• BALD와 GRAD의 조합은 민감 속성에 대해 예측 정합성을 1.27 ± 0.88로 달성했으며, 균일 샘플링에 GRAD 적용 시(λ=1) 5.50 ± 1.51보다 유의미하게 낮았다.
• BALD는 시간이 지남에 따라 그룹 간 지식적 불확실성의 절대 차이를 감소시켰지만, 균일 샘플링에 GRAD를 적용한 경우 불확실성 격차가 거의 두 배로 증가했다.
• BALD와 GRAD의 조합은 레이블 데이터 전체에 접근이 필요한 최첨단 공정성 방법인 REPAIR와 경쟁 가능한 성능을 달성했다.