[논문 리뷰] Leveling Down in Computer Vision: Pareto Inefficiencies in Fair Deep Classifiers

Dominik Zietlow, Michael Lohaus외 5명|arXiv (Cornell University)|2022. 03. 09.

Ethics and Social Impacts of AI인용 수 7

한 줄 요약

이 논문은 컴퓨터 비전 분야의 공정성 기법이 종종 모든 그룹—특히 성능이 뛰어난 그룹들—에서 성능을 떨어뜨려 파레토 비효율적인 모델을 초래한다는 점을 규명한다. 이는 성능을 낮추는 대신 일반화 능력을 향상시켜 공정성을 높이는 방법을 제안한다. g-SMOTE를 활용한 적응형 데이터 증강 기법을 통해 가장 불리한 그룹의 정확도를 향상시키면서도 전체 성능을 유지함으로써, 성능을 떨어뜨리지 않고도 공정성을 개선할 수 있음을 보여준다.

ABSTRACT

Algorithmic fairness is frequently motivated in terms of a trade-off in which overall performance is decreased so as to improve performance on disadvantaged groups where the algorithm would otherwise be less accurate. Contrary to this, we find that applying existing fairness approaches to computer vision improve fairness by degrading the performance of classifiers across all groups (with increased degradation on the best performing groups). Extending the bias-variance decomposition for classification to fairness, we theoretically explain why the majority of fairness classifiers designed for low capacity models should not be used in settings involving high-capacity models, a scenario common to computer vision. We corroborate this analysis with extensive experimental support that shows that many of the fairness heuristics used in computer vision also degrade performance on the most disadvantaged groups. Building on these insights, we propose an adaptive augmentation strategy that, uniquely, of all methods tested, improves performance for the disadvantaged groups.

연구 동기 및 목표

• 컴퓨터 비전에서 공정성 기법이 종종 모든 그룹, 특히 가장 불리한 그룹들에서도 성능을 떨어뜨리는 이유를 조사하는 것.
• 용량이 큰 모델에서 공정성-정확도 트레이드오프가 일반적인 가정을 도전하는 것.
• 성능을 낮추는 대신 일반화 능력을 향상시켜 공정성을 향상시키는 방법을 제안하는 것.
• 데이터 증강을 통해 최악의 그룹 정확도를 향상시키되, 공정성 지표를 악화시키지 않는 것을 보여주는 것.

제안 방법

• 저자들은 편향-분산 분해를 공정성에 확장하여, 용량이 큰 환경에서 공정성 기법이 실패할 수 있는 이론적 조건을 규명한다.
• 저자들은 GAN 기반 접근 방식(g-SMOTE)을 사용해 불리한 그룹에 맞춤형으로 합성 샘플을 생성하는 적응형 데이터 증강 기법을 도입한다.
• 이 방법은 성능이 열악한 그룹의 데이터 다양성을 동적으로 증가시켜 일반화 능력을 향상시키고 오차율을 낮춘다.
• 저자들은 차등 동등 기회 차이(DEO)와 최악의 그룹 정확도를 사용해 공정성 수준을 평가하고, 다양한 증강 전략에 따른 모델을 비교한다.
• 표준 증강 기법(예: 무작위 컷, RandAugment)과 g-SMOTE를 조합하여 성능 향상의 상호보완적 효과를 평가한다.
• 저자들은 이중 단계 평가 프로토콜을 제안한다: 최악의 그룹 오차를 평가하고, 반복적으로 성능이 열악한 그룹의 데이터를 수집하여 최악의 오차를 최소화한다.

실험 결과

연구 질문

• RQ1 왜 컴퓨터 비전에서 공정성 기법이 종종 모든 그룹, 포함해 가장 불리한 그룹들에서도 성능을 떨어뜨리는가?
• RQ2 용량이 큰 딥러닝에서 공정성 제약이 파레토 비효율적인 모델을 초래하는 조건은 무엇인가?
• RQ3 데이터 증강을 통해 전체 성능을 저하시키지 않거나 성능이 양호한 그룹의 정확도를 악화시키지 않고도 공정성을 향상시킬 수 있는가?
• RQ4 적응형 샘플 생성 기법은 표준 증강 기법에 비해 최악의 그룹 정확도 향상에 얼마나 효과적인가?
• RQ5 용량이 큰 모델에서 공정성 평가를 할 때 성능 저하를 가리지 않도록 하기 위해 어떤 지표를 우선적으로 고려해야 하는가?

주요 결과

• 컴퓨터 비전에서 많은 공정성 기법이 모든 그룹, 포함해 가장 불리한 그룹의 정확도를 떨어뜨려 파레토 비효율적인 결과를 낳는다.
• CelebA 데이터셋에서 공정성 정규화 모델은 DEO와 같은 공정성 지표는 향상되었지만, 모든 그룹의 정확도가 감소하는 결과를 보였다. 이는 최악의 성능 그룹조차도 정확도가 떨어졌음을 의미한다.
• 제안된 g-SMOTE 증강 기법은 여러 증강 기반 설정에서 최소 그룹 정확도를 0.48%p 향상시켰다(89.15%에서 89.63%로).
• g-SMOTE는 표준 증강 기법과 조합했을 때 상호보완적 성능 향상을 보였으며, 정확도를 0.18–0.58%p 향상시켰다.
• 이 방법은 성능이 양호한 그룹의 성능을 낮추지 않으면서도 더 낮은 DEO와 더 높은 최악의 그룹 정확도를 달성했다.
• 이 연구는 테스트 데이터에서의 공정성은 근본적으로 일반화 문제이며, 목표에 맞는 데이터 수집이 최악의 그룹 성능 향상에 기여함을 확인했다.