[논문 리뷰] Unprocessing Seven Years of Algorithmic Fairness

André F. Cruz, Moritz Hardt|arXiv (Cornell University)|2023. 06. 12.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 다수의 표준 데이터셋에서 후처리—다양한 인구군집 간 오차율을 균형화하기 위해 결정 임계값을 조정하는 것—가 정확도-정의성 파레토 경계를 최적화함을 경험적으로 입증한다. 이는 더 복잡한 사전처리 및 중간처리 방법들을 능가한다. 표준화된 비교를 위해 '언프로세싱(unprocessing)'을 도입하고, 선형 프로그래밍을 통한 유연한 제약 조건 설정을 통해, 기본 모델과 제약 수준이 동일할 경우 후처리를 능가하는 방법이 존재하지 않음을 저자들이 보여주었다.

ABSTRACT

Seven years ago, researchers proposed a postprocessing method to equalize the error rates of a model across different demographic groups. The work launched hundreds of papers purporting to improve over the postprocessing baseline. We empirically evaluate these claims through thousands of model evaluations on several tabular datasets. We find that the fairness-accuracy Pareto frontier achieved by postprocessing contains all other methods we were feasibly able to evaluate. In doing so, we address two common methodological errors that have confounded previous observations. One relates to the comparison of methods with different unconstrained base models. The other concerns methods achieving different levels of constraint relaxation. At the heart of our study is a simple idea we call unprocessing that roughly corresponds to the inverse of postprocessing. Unprocessing allows for a direct comparison of methods using different underlying models and levels of relaxation.

연구 동기 및 목표

• 실제 표준 데이터셋에서 더 복잡한 정의성 방법이 후처리보다 정의성-정확도 트레이드오프에서 개선되는지 평가하기 위해.
• 이전 비교에서 발생하는 메타적 결함, 즉 일관되지 않은 기본 모델과 다양한 수준의 제약 완화를 해결하기 위해.
• 정의성 제약이 가해진 모델에서 기존의 비제약 모델을 추출하기 위해 '언프로세싱'을 도입하기 위해.
• 선형 프로그래밍을 활용한 유연한 동일 오차율 제약 설정을 제안하여 공정한 벤치마킹을 가능하게 하기 위해.
• 후처리를 파레토 우월 기준으로 설정하여 알고리즘 정의성 분야의 평가 기준을 강화하기 위해.

제안 방법

• 후처리의 역행인 '언프로세싱'을 도입하여, 정의성 제약이 가해진 임의의 모델을 원래의 비제약 위험 점수로 복원함으로써, 후처리와 직접 비교할 수 있도록 함.
• 선형 프로그래밍을 활용해 후처리에 대해 근사적 오차율 균형(비율 r의 완화된 동일 오차율)을 달성함으로써, 동일한 제약 수준에서 공정한 비교를 가능하게 함.
• 오픈소스 파이썬 패키지인 error-parity에 이 완화된 제약 조건 솔루션을 구현하여 정의성 벤치마킹의 표준화를 도모함.
• ACSIncome 및 MEPS를 포함한 6개의 데이터셋에서 다양한 사전처리, 중간처리 및 비제약 기반 기준 모델을 사용해 11,000개 이상의 모델을 훈련 및 평가함.
• 삼중 탐색(트라이서치)을 적용해 후처리에서 정확한 오차율 균형을 달성함으로써 비교를 위한 공정한 기준을 확보함.
• 언프로세싱을 통해 유도된 비제약 모델을 후처리의 기준점으로 사용함으로써, 서로 다른 기본 모델 성능에 기인한 편향을 제거함.

실험 결과

연구 질문

• RQ1 다양한 표준 데이터셋에서 더 복잡한 정의성 방법과 비교했을 때 후처리가 여전히 파레토 최적일까?
• RQ2 비제약 기반 모델의 성능 격차가 정의성 방법 비교를 얼마나 혼란스럽게 하는가?
• RQ3 제약 완화가 정의성-정확도 트레이드오프에 어떤 영향을 미치며, 이를 공정한 평가를 위해 표준화할 수 있는가?
• RQ4 언프로세싱을 통해 후처리와의 공정하고 투명한 정의성 간 interventions 평가가 가능해지는가?
• RQ5 제곱 손실 하에서 후처리의 이론적 최적성이 실제 표준 데이터 환경에서 경험적으로도 유효한가?

주요 결과

• 모든 평가된 데이터셋과 작업에서 후처리가 정의성-정확도 트레이드오프의 파레토 경계를 달성하며, 이는 다른 방법이 정확도를 희생시키지 않고 정의성을 향상시킬 수 없음을 의미한다.
• 평가된 어떤 방법의 정의성-정확도 트레이드오프도, 가장 높은 정확도를 보이는 비제약 모델에 후처리를 적용한 결과를 능가하거나 이를 초월할 수 있다.
• 언프로세싱은 정의성 제약이 가해진 어떤 방법에서든 대응하는 비제약 모델을 성공적으로 추출하여 재학습 없이 직접 비교가 가능하게 한다.
• 선형 프로그래밍을 통한 완화된 동일 오차율 제약 설정은 일관된 제약 위반 수준에서 공정한 벤치마킹을 가능하게 하며, 핵심적인 방법론적 결함을 해결한다.
• 조금 더 유연한 제약(예: r=0.05) 조건 하에서도 후처리가 모든 평가된 방법보다 우월하거나 동등한 성능을 보이며, 이는 후처리가 강건하고 효과적임을 시사한다.
• 제곱 손실 이외의 설정에서는 후처리의 최적성에 대한 반례가 존재하지만, 실제 표준 데이터셋에서는 이러한 현상이 나타나지 않으며, 이는 위험 점수가 제곱 손실 하에서 베이즈 최적에 가까워서일 가능성이 높다.