[논문 리뷰] On Learning Fairness and Accuracy on Multiple Subgroups

Changjian Shui, Gezheng Xu외 6명|arXiv (Cornell University)|2022. 10. 19.

Ethics and Social Impacts of AI인용 수 16

한 줄 요약

이 논문은 제한된 데이터를 가진 다수의 하위군에 대해 정확도를 유지하면서 공정한 예측기를 학습하기 위해 이중 최적화 프레임워크를 제안한다. 이 프레임워크는 군집 충족도 갭과 일반화 오차를 동시에 최소화하며, 하위군별 학습을 유도하기 위해 사전 예측 분포를 사용한다. 이로 인해 실제 NLP 데이터셋에서 최신 기술 수준의 공정성을 달성하면서 정확도 손실를 최소화한다.

ABSTRACT

We propose an analysis in fair learning that preserves the utility of the data while reducing prediction disparities under the criteria of group sufficiency. We focus on the scenario where the data contains multiple or even many subgroups, each with limited number of samples. As a result, we present a principled method for learning a fair predictor for all subgroups via formulating it as a bilevel objective. Specifically, the subgroup specific predictors are learned in the lower-level through a small amount of data and the fair predictor. In the upper-level, the fair predictor is updated to be close to all subgroup specific predictors. We further prove that such a bilevel objective can effectively control the group sufficiency and generalization error. We evaluate the proposed framework on real-world datasets. Empirical evidence suggests the consistently improved fair predictions, as well as the comparable accuracy to the baselines.

연구 동기 및 목표

• 다양한 하위군이 존재하고 각 하위군의 샘플 수가 제한된 데이터에서 공정하고 정확한 예측기를 학습하는 데 도전하는 것.
• 예측 유틸리티와 일반화 성능를 유지하면서 군집 충족도 공정성을 보장하는 것.
• 저자원 하위군 환경에서 공정성과 정확성의 균형을 이루는 원칙적인 방법을 개발하는 것.
• 제안된 접근법의 일반화 및 공정성 보장을 이론적으로 정당화하는 것.

제안 방법

• 공정 학습 문제를 이중 최적화로 공식화한다: 상위 수준은 전역적인 공정 예측 분포 Q를 업데이트하고, 하위 수준는 Q를 사전으로 사용하여 하위군별 예측기를 학습한다.
• 확률적 분류기(Q)를 사용하여 예측 분포를 표현함으로써 불확실성 인식 공정 학습이 가능해진다.
• 전역 예측기와 하위군 베이즈 예측기 간의 차이에서 유도된 상한을 통해 군집 충족도 갭을 제어한다.
• 하위군별 학습과 사전 정규화 사이의 트레이드오프를 조절하기 위해 하이퍼파rameter λ를 사용하며, 이로 인해 낮은 일반화 오차를 확보한다.
• 신경망 모델에 이 프레임워크를 적용하여 공정하고 정확한 예측을 위한 엔드 투 엔드 미분 가능한 학습을 가능하게 한다.
• Q가 저자원 하위군의 정보성 사전으로 기능하도록 사전 기반 학습 체계를 도입함으로써 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 제한된 데이터로 다수의 하위군에 대해 통합된 공정한 예측기를 유지하면서도 높은 정확도를 달성할 수 있는가?
• RQ2 저자원 하위군 환경에서 군집 충족도를 효과적으로 제어할 수 있는가?
• RQ3 하위군 학습에서 일반화 오차와 공정성 사이의 이론적 관계는 무엇인가?
• RQ4 이중 최적화 프레임워크가 동시에 공정성 갭과 일반화 오차를 최소화할 수 있는가?
• RQ5 공정성과 정확성 사이의 최적 트레이드오프는 무엇이며, 이는 λ와 같은 하이퍼파rameter에 어떻게 의존하는가?

주요 결과

• 제안된 방법은 하위군 전반에서 군집 충족도 갭을 일관되게 감소시키며, 특히 자원이 부족한 환경에서 정확도 손실가 없이 기존 베이스라인에 비해 뛰어난 성능을 보였다.
• 아마존 리뷰 및 톡식 코멘트 데이터셋에서, 모든 인종 그룹 간에 거의 동일하고 작은 군집 충족도 갭을 달성했으며, 기존 베이스라인과는 달리 큰 격차를 보이지 않았다.
• 모든 하위군에서 확률 캘리브레이션 성능이 크게 향상되어 예측 점수와 실제 결과 간의 일치도가 높아졌다.
• 공정성과 정확성의 최적 균형을 확보하기 위한 최적의 λ 값은 [0.2, 1] 범위 내에서 발견되었으며, 이 범위에서 높은 정확도와 낮은 공정성 갭을 동시에 확보할 수 있었다.
• λ가 너무 클 경우(예: λ=50) 정확도가 55%로 떨어졌으며, 이는 사전에 과도하게 의존할 경우 성능 저하와 함께 공정성 갭 증가가 발생함을 확인한 것이다.
• 실증 결과에 따르면, 성별 및 종교와 같은 다른 민감한 속성에 대해서도 일관된 공정성 향상이 관찰되었으며, 강력한 성능 유지를 보였다.