[논문 리뷰] Fairness through Experimentation: Inequality in A/B testing as an approach to responsible design

Guillaume Saint-Jacques, Amir Sepehri외 2명|arXiv (Cornell University)|2020. 02. 14.

Experimental Behavioral Economics Studies참고 문헌 13인용 수 5

한 줄 요약

이 논문은 전통적인 알고리즘 편향에만 초점을 맞추는 방법의 한계를 보완하기 위해, A/B 테스트에 불평등 측정(아틀킨슨 지수를 사용)을 통합하여 제품 변경 사항의 공정성과 포용성을 기존의 평균 성능 지표를 넘어서 평가하는 방법을 제안한다. 인과적 추론을 아틀킨슨 지수에 적용함으로써, 평균 지표에 변화가 없더라도 사용자 하위군 간에 빛나지 않는 불평등 영향을 탐지할 수 있으며, 이 방법은 리노팅에서 대규모로 구현되어 실제 실험에서 공정성 향상 또는 해로운 기능을 식별하는 데 사용되었다.

ABSTRACT

As technology continues to advance, there is increasing concern about individuals being left behind. Many businesses are striving to adopt responsible design practices and avoid any unintended consequences of their products and services, ranging from privacy vulnerabilities to algorithmic bias. We propose a novel approach to fairness and inclusiveness based on experimentation. We use experimentation because we want to assess not only the intrinsic properties of products and algorithms but also their impact on people. We do this by introducing an inequality approach to A/B testing, leveraging the Atkinson index from the economics literature. We show how to perform causal inference over this inequality measure. We also introduce the concept of site-wide inequality impact, which captures the inclusiveness impact of targeting specific subpopulations for experiments, and show how to conduct statistical inference on this impact. We provide real examples from LinkedIn, as well as an open-source, highly scalable implementation of the computation of the Atkinson index and its variance in Spark/Scala. We also provide over a year's worth of learnings -- gathered by deploying our method at scale and analyzing thousands of experiments -- on which areas and which kinds of product innovations seem to inherently foster fairness through inclusiveness.

연구 동기 및 목표

• 보호받는 범주와 내재된 알고리즘 특성에만 초점을 맞추는 전통적인 알고리즘 공정성 방법의 한계를 해결하기 위해.
• 평균 지표 변화 외에도 사회적 자본, 네트워크 강도 또는 접근성에 영향을 주는 제품 기능의 뜻하지 않은 불평등 영향을 탐지하기 위해.
• 사용자 하위군 간에 참여도 불평등에 어떤 영향을 미치는지 평가하는 확장 가능한 실험 기반 접근법을 개발하기 위해.
• 평균 효과가 중립일지라도 불평등을 의도치 않게 증가 또는 감소시키는 기능을 식별하고 경고할 수 있는 프레임워크를 제공하기 위해.
• 조직이 제품 출시 전에 포용성 영향을 사전에 평가할 수 있도록 책임감 있는 설계를 지원하기 위해.

제안 방법

• 경제학에서 유래한 아틀킨슨 지수를 사용자 참여도의 불평등을 정량화하는 데 적용하며, 주로 상위 1퍼센트의 기여 비율을 핵심 공정성 지표로 삼는다.
• A/B 테스트에서 치료군과 대조군 간의 아틀킨슨 지수 차이를 추정하기 위해 인과적 추론 기법을 적용한다.
• 분석적 방법을 사용하여 아틀킨슨 지수의 분산 추정치를 유도함으로써 불평등 영향에 대한 통계적 추론을 가능하게 한다.
• 전체 플랫폼에서 개별 실험 수준의 불평등 영향을 통합하는 개념인 '전체 플랫폼 불평등 영향'을 도입한다.
• 대규모 생산 실험에서 아틀킨슨 지수와 그 분산을 계산하기 위한 매우 확장 가능한 Spark/Scala 구현체를 개발한다.
• 이 방법을 사용해 수천 개의 실험을 분석하여 불평등을 증가 또는 감소시키는 기능의 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 A/B 테스트는 평균 치료 효과 외에도 사용자 참여도에 대한 불평등 영향을 어떻게 측정할 수 있는가?
• RQ2 아틀킨슨 지수는 제품 변경의 공정성 관련 결과를 탐지하는 데 있어 강력하고 해석 가능한 지표로 기능할 수 있는가?
• RQ3 평균적으로 중립으로 보이는 기능들이 높은 참여도 또는 낮은 참여도를 보이는 사용자들에게 비례하지 않는 영향을 미치는 정도는 어느 정도인가?
• RQ4 알림, 온보딩 플로우, 성능 최적화와 같은 특정 유형의 제품 간섭은 참여도 불평등을 증가시키거나 감소시키는 경향이 있는가?
• RQ5 조직은 어떻게 실험 파이프라인에서 뜻하지 않은 불평등 영향을 체계적으로 탐지하고 대응할 수 있는가?

주요 결과

• 온보딩 유도 메시지로 적극적으로 참여하지 않는 사용자에게 알림을 제공함으로써, 초기 유저 유지율이 향상되면서 참여도 불평등이 크게 감소함을 확인했다.
• 높은 참여도를 보이는 사용자에게 알림을 일괄 처리함으로써 불평등이 감소했으며, 이는 UX 설계 선택이 공정성에 영향을 줄 수 있음을 보여준다.
• 사이트 속도 및 안정성 향상 조치, 특히 저대역폭 리노팅 앱은 참여도가 낮은 사용자에게 비례적으로 긍정적인 영향을 미쳐 불평등을 감소시켰다.
• 네트워크 가시성 또는 공유 도구와 같은 사회적 자본을 향상시키는 기능들은 일반적으로 네트워크가 강한 사용자가 더 많은 이점을 얻기 때문에 불평등을 증가시키는 경향이 있었다.
• 불평등 영향이 유의미한 실험의 60퍼센트 이상이 평균적으로 중립으로 간주되어 처음에는 무시되었으며, 이는 평균 효과 외에도 불평등을 모니터링할 필요성이 있음을 강조한다.
• 이 방법은 실시간으로 긍정적 및 부정적 불평등 영향을 성공적으로 식별하여, 평균 결과가 중립임에도 불구하고 불평등을 증가시키는 기능의 출시를 취소하는 데 기여했다.