[논문 리뷰] Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality

Schrasing Tong, Minseok Jung외 2명|arXiv (Cornell University)|2026. 03. 06.

Ethics and Social Impacts of AI인용 수 0

한 줄 요약

이 논문은 커뮤니티의 비정상적 마진 하에서의 공정성 판단이 그룹 간 분포 차이와 데이터 가용성에 의존하며 단순한 형평성(parity)만으로는 설명되지 않는다는 사용자 연구를 보고하며, 형평성만을 중시하는 지표에 의문을 제기한다.

ABSTRACT

Differences in data distributions between demographic groups, known as the problem of infra-marginality, complicate how people evaluate fairness in machine learning models. We present a user study with 85 participants in a hypothetical medical decision-making scenario to examine two treatments: group-specific model performance and training data availability. Our results show that participants did not equate fairness with simple statistical parity. When group-specific performances were equal or unavailable, participants preferred models that produced equal outcomes; when performances differed, especially in ways consistent with data imbalances, they judged models that preserved those differences as more fair. These findings highlight that fairness judgments are shaped not only by outcomes, but also by beliefs about the causes of disparities. We discuss implications for popular group fairness definitions and system design, arguing that accounting for distributional context is critical to aligning algorithmic fairness metrics with human expectations in real-world applications.

연구 동기 및 목표

• AI 예측의 공정성에 대한 인간 판단에 infra-marginality가 어떤 영향을 미치는지 조사한다.
• 그룹 간 분포 차이와 학습 데이터 가용성이 인지된 공정성에 영향을 미치는지 examined한다.
• 최종 사용자가 의료 시나리오 내에서 그룹별 성능 해석과 그것이 공정성 결정과의 관계를 어떻게 해석하는지 평가한다.

제안 방법

• 다 varying 그룹별 성능 across varying groups across three candidate models를 평가하는 85명의 참가자를 대상으로 한 온라인 Qualtrics 사용자 연구.
• 두 가지 처리 요인: 그룹별 성능(group-specific performance) (7 instances) 및 데이터 가용성(data availability) (4 instances).
• 참가자들은 서로 다른 공정성 가정(parity vs. preserving disparities)을 인코드하는 세 가지 모델 옵션에 대해 7점 Likert 척도로 공정성을 평가했다.
• 운영화는 두 그룹의 암 예측 시나리오에서 infra-marginality를 반영하기 위해 정확도를 분포 차이의 대리 변수로 사용했다.
• 반복 시나리오 점검 및 예비 테스트를 통해 이해도와 데이터 타당성을 확보했고, 분석에 독립 표본 t-검정을 사용했다.

Figure 1. Mean and standard errors of fairness perceptions on the 3 Options for the group-specific performance treatment. Group-specific accuracy denoted as (Race A and Race B) for the 7 subplots are NA/NA, 90/90, 70/70, 95/85, 75/65, 85/95, and 65/75. * signifies p $<$ 0.05, ** signifies p $<$ 0.01

실험 결과

연구 질문

• RQ1 두 그룹 간의 분포 차이가 있을 때 사용자는 모델의 공정성을 어떻게 평가하는가?
• RQ2 상대적 학습 데이터 가용성이 이러한 차이의 공정성 판단 및 해석에 어떤 영향을 미치는가?
• RQ3 사용자는 infra-marginality 하에서 관찰된 그룹 간 격차를 보존하는 모델 또는 동등성 기반의 공정성 어느 쪽을 선호하는가?

주요 결과

• 참가자들의 공정성 판단은 그룹별 성능에 따라 달라진다: 동등하거나 성능이 불확실한 경우 형평성(parity) 선호로 기울고, 명백한 격차가 보일 때 차이를 보존하는 방향(infra-marginality)을 지지한다.
• 데이터 가용성은 공정성의 추론에 영향을 준다: 더 높은 성능의 그룹에 더 많은 데이터가 있다고 해서 자동으로 공정하다고 여겨지지는 않으며, 작업 난이도와 관련된 격차가 더 수용 가능하다.
• 공정성 판단은 기준선에 상대적이다; 원래의 그룹별 성능에 고정되는 기준에 고정되어 새로운 모델의 평가에 영향을 준다.
• 동등화된 오류율처럼 parity 기반 지표가 분포 차이를 반영하는 방식에서 사람들이 공정성을 인식하는 방식과 충돌할 수 있다.
• 결과는 공정성 프레임워크가 분포 맥락을 반영해야 하며 모든 비용에서 평등을 강요해서는 안 된다는 시사점을 시사한다.

Figure 2. Mean and standard errors of fairness perceptions on the 3 Options when Race A $>$ Race B in group-specific performance. Subplots show data of Race A relative to Race B: no info, 3x, 20x, and 1x respectively. * signifies p $<$ 0.05, ** signifies p $<$ 0.01, and *** signifies p $<$ 0.001.