[논문 리뷰] The Fairness-Accuracy Pareto Front

Susan Wei, Marc Niethammer|arXiv (Cornell University)|2020. 08. 25.

Reinforcement Learning in Robotics참고 문헌 47인용 수 6

한 줄 요약

이 논문은 대부분의 알고리즘적 편향 방지 방법에서 사용되는 표준 선형 스칼라화의 한계를 극복하기 위해 딥 뉴럴 네트워크에서 공정성-정확도 파레토 최적 해를 식별하는 데 체비쇼프 스칼라화 방법을 제안한다. 체비쇼프 스칼라화가 비볼록 파레토 최면을 포함한 더 넓은 범위의 파레토 최적 해를 복원함과 동시에 계산적으로 효율적이며, 여러 데이터셋에서 선형 스칼라화 및 적대적 접근보다 파레토 최면 추정에서 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Algorithmic fairness seeks to identify and correct sources of bias in machine learning algorithms. Confoundingly, ensuring fairness often comes at the cost of accuracy. We provide formal tools in this work for reconciling this fundamental tension in algorithm fairness. Specifically, we put to use the concept of Pareto optimality from multi-objective optimization and seek the fairness-accuracy Pareto front of a neural network classifier. We demonstrate that many existing algorithmic fairness methods are performing the so-called linear scalarization scheme which has severe limitations in recovering Pareto optimal solutions. We instead apply the Chebyshev scalarization scheme which is provably superior theoretically and no more computationally burdensome at recovering Pareto optimal solutions compared to the linear scheme.

연구 동기 및 목표

• 기계학습에서 공정성과 정확성 간의 근본적 갈등을 해결하기 위해, 현재의 방법들이 최적의 트레이드오프를 회복하지 못하는 데 초점을 맞춘다.
• 대부분의 공정성 방법에서 사용되는 선형 스칼라화가 공정성-정확도 파레토 최면의 비볼록 영역을 회복하지 못함을 입증한다.
• 이론적으로 우수하고 계산적으로 실현 가능한 파레토 최면 추정을 위한 대안으로 체비쇼프 스칼라화 방법을 제안하고 평가한다.
• 적대적 훈련 및 ATO 기반 접근과 같은 다양한 공정성-정확도 파레토 최면 추정 방법의 성능을 실증적으로 비교한다.
• 딥 러닝에서 스칼라화를 사용할 때 파라미터 조정 및 최적화 안정성 문제와 같은 실용적 과제를 규명한다.

제안 방법

• 저자들은 체비쇼프 스칼라화 방법을 적용하여 딥 뉴럴 네트워크에서 공정성과 정확성을 동시에 최적화하며, 이상적인 공정성과 정확성에서의 최대 편차를 가중치를 고려한 최소화 방식을 사용한다.
• 알고리즘 1을 사용하여 다양한 스칼라화 가중치 범위에서 후보 모델을 생성하며, 중간 레이어에서 ATO 인과적 추정치를 통해 공정성을 측정한다.
• 공정성 목표는 테스트 세트에서 예측에 대한 평균 치료 효과(ATE)의 절대값으로 정의된다.
• 정확도 목표는 테스트 세트에서 표준 크로스 엔트로피 또는 분류 오차로 정의된다.
• 스칼라화된 목표를 기반으로 공정성-정확도 공간에서 지배되지 않은 해를 식별함으로써 파레토 최면을 구성한다.
• 세 가지 변형을 비교한다: 마지막에서 두 번째 레이어에서의 ATO, 모든 레이어에 걸친 ATO, 그리고 적대적 공정성 훈련 기반 베이스라인.

실험 결과

연구 질문

• RQ1 체비쇼프 스칼라화 방법은 알고리즘적 편향 분야에서 널리 사용되는 선형 스칼라화보다 더 포괄적인 공정성-정확도 파레토 최면을 복원할 수 있는가?
• RQ2 예를 들어 마지막에서 두 번째 레이어 또는 모든 레이어에서의 공정성 측정 레이어 선택이 딥 뉴럴 네트워크에서 파레토 최면 추정에 어떤 영향을 미치는가?
• RQ3 공정성에 대한 적대적 훈련은 스칼라화 기반 방법보다 더 다양하거나 완전한 파레토 최면을 생성하는가?
• RQ4 다양한 공정성 정의(인구 균형, 동일한 오차, 동일한 기회, ATO)는 공정성-정확도 트레이드오프 공간에 어떻게 분포하는가?
• RQ5 파레토 최면의 형태가 알려져 있지 않을 때 스칼라화의 가중치 선택에 실용적인 과제는 무엇인가?

주요 결과

• 체비쇼프 스칼라화 방법은 비볼록 영역을 포함한 공정성-정확도 트레이드오프 공간에서 선형 스칼라화보다 훨씬 더 넓은 범위의 파레토 최적 해를 복원한다.
• UCI (성별) 데이터셋에서 ATO 한 레이어 방법은 44개의 지배되지 않은 점을 발견했으며, ATO 모든 레이어(27개) 및 적대적 훈련(13개)을 모두 초월했다.
• UCI (인종) 데이터셋에서 ATO 한 레이어 방법은 33개의 지배되지 않은 점을 발견했으며, ATO 모든 레이어(27개) 및 적대적 훈련(9개)보다 뛰어났다.
• 재범 위험 데이터셋에서 ATO 한 레이어 방법은 89개의 지배되지 않은 점을 발견했으며, ATO 모든 레이어(53개) 및 적대적 훈련(27개)을 크게 앞서갔다.
• 마지막에서 두 번째 레이어에서 계산된 ATO 인과적 추정치가 모든 중간 레이어를 사용한 경우보다 더 나은 파레토 최면 추정을 제공했으며, 이는 전체 레이어 추정치를 사용할 경우 훈련의 불안정성이 발생할 수 있음을 시사한다.
• 세 가지 표준 공정성 측정법(인구 균형, 동일한 오차, 동일한 기회)은 공정성-정확도 공간에서 명확한 군집을 형성한 반면, ATO 기반 측정법은 더 연속적이고 다양한 파레토 최면 커버리지를 가능하게 했다.