[논문 리뷰] Towards Fairness in Visual Recognition: Effective Strategies for Bias Mitigation

Zeyu Wang, Klint Qinami외 5명|arXiv (Cornell University)|2019. 11. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 21

한 줄 요약

이 논문은 시각 인식에서 편향 완화를 평가하기 위한 통제된 벤치마크를 소개하며, 단순한 도메인 독립적 훈련 전략이 복잡한 적대적 방법보다 우수함을 입증한다. 제안된 방법은 CelebA에서 성별 편향을 감소시키면서 mAP를 74.7%에서 76.3%로 향상시킨다.

ABSTRACT

Computer vision models learn to perform a task by capturing relevant statistics from training data. It has been shown that models learn spurious age, gender, and race correlations when trained for seemingly unrelated tasks like activity recognition or image captioning. Various mitigation techniques have been presented to prevent models from utilizing or learning such biases. However, there has been little systematic comparison between these techniques. We design a simple but surprisingly effective visual recognition benchmark for studying bias mitigation. Using this benchmark, we provide a thorough analysis of a wide range of techniques. We highlight the shortcomings of popular adversarial training approaches for bias mitigation, propose a simple but similarly effective alternative to the inference-time Reducing Bias Amplification method of Zhao et al., and design a domain-independent training technique that outperforms all other methods. Finally, we validate our findings on the attribute classification task in the CelebA dataset, where attribute presence is known to be correlated with the gender of people in the image, and demonstrate that the proposed technique is effective at mitigating real-world gender bias.

연구 동기 및 목표

• 딥 시각 인식 모델에서 편향 완화 기법 간 체계적 비교의 부족을 해결하기 위해.
• 훈련 데이터 내 임의의 상관관계(예: 성별-속성 편향)를 고립하고 정량화할 수 있는 통제된 벤치마크를 설계하기 위해.
• 동일한 조건에서 기존 완화 전략—적대적 훈련, 편향 강화 감소, 도메인 특화 학습—을 평가하고 비교하기 위해.
• 실제 데이터에서의 결과를 검증하기 위해, 특히 CelebA 속성 분류 작업에서의 성별 편향을 대상으로 하기 위해.
• 도메인 독립적 훈련 방법을 제안하고, 도메인 특화 적응이 필요 없이 편향을 효과적으로 완화하는 데 성공적으로 적용하기 위해.

제안 방법

• 입력 속성(예: 성별)과 레이블(예: 활동) 간 통제된 비합리적 상관관계를 유도하기 위해 데이터셋 증강을 활용한 합성 시각 인식 벤치마크를 구축하기 위해.
• 공유된 특징과 각 도메인(예: 남성/여성)에 대한 별도의 예측 헤드를 가진 이중 브랜치 CNN을 훈련하여 도메인 특화 및 도메인 독립적 추론을 가능하게 하기 위해.
• 도메인 조건부 확률을 사용하여 도메인 특화 출력의 가중 평균으로 예측를 계산하는 도메인 독립적 추론 전략을 구현하기 위해.
• 분류 손실과 도메인 분류기 손실을 조합한 다중 작업 손실을 사용하여 민감한 속성과 임무 관련 특징 간의 분리(디센트레임트)를 장려하기 위해.
• 비교를 위해 Zhao 등이 제안한 RBA(Reducing Bias Amplification) 방법을 인퍼런스 시 보정에 적용하기 위해.
• mAP(mean average precision)와 편향 강화(BA) 지표를 사용하여 모델을 평가하며, BA는 성별과 속성 예측 간 상관관계를 측정한다.

실험 결과

연구 질문

• RQ1 시각 인식에서 통제된, 고립된 비합리적 상관관계 하에서 다양한 편향 완화 기법은 어떻게 성능을 발휘하는가?
• RQ2 적대적 훈련은 정확도를 희생시키지 않고도 시각 인식 과제에서 편향을 효과적으로 줄일 수 있는가?
• RQ3 도메인 독립적 훈련 전략은 편향 완화에서 도메인 특화 또는 적대적 접근보다 뛰어나게 성능을 발휘하는가?
• RQ4 속성 내 성별 불균형 수준이 실제 데이터에서 제안된 방법의 성능 향상에 미치는 영향은 어떠한가?
• RQ5 제안된 방법은 높은 정확도와 공정성을 유지하면서 실세계의 다중 레이블 벤치마크인 CelebA로 일반화 가능한가?

주요 결과

• 적대적 훈련은 편향 강화(BA)를 감소시켰지만(0.010에서 0.019로), mAP는 저하되었다(기준선 대비 71.9% 대비 74.7%), 이는 공정성과 정확도 사이의 상충 관계를 시사한다.
• 도메인 독립적 훈련 방법은 가장 높은 mAP(76.3%)와 가장 낮은 편향 강화(-0.035)를 기록하여 기준선 및 적대적 기준선을 모두 압도했다.
• 도메인 독립적 모델은 CelebA 테스트 세트에서 기준선 대비 mAP를 1.6%p 향상시켰으며, 특히 성별 불균형이 높은 속성(예: 80% 이상의 편향)에서 가장 큰 성과를 냈다.
• 속성 편향과 성능 향상 간 상관관계는 강력했으며(ρ = 0.709), 이는 편향이 뚜렷할수록 방법의 효과가 더 크다는 것을 확인한다.
• 오버샘플링은 가장 높은 mAP(77.6%)를 기록했지만, 고편향·저유사도 설정에서는 덜 효과적이었으며, 이는 데이터 증강과 아키텍처 설계 간의 상충관계를 드러낸다.
• 제안된 도메인 독립적 방법은 복잡한 적대적 또는 인퍼런스 시 보정 방법보다 간단하고 더 효과적이며, 특히 실세계의 다중 레이블 설정에서 두각을 나타낸다.