[論文レビュー] Fairness through Experimentation: Inequality in A/B testing as an approach to responsible design

Guillaume Saint-Jacques, Amir Sepehri+2 more|arXiv (Cornell University)|Feb 14, 2020

Experimental Behavioral Economics Studies参考文献 13被引用数 5

ひとこと要約

本稿では、従来のアルゴリズム的バイアスに注目する手法の限界を補うために、アトキンソン指数を用いた不平等指標のA/Bテストへの統合を提案する。因果推論をアトキンソン指数に適用することで、平均指標に変化が見られない場合でも、ユーザーのサブグループ全体における意図しない不平等な影響を検出可能であり、LinkedInでは大規模に導入され、実世界の実験において公平性を高めるか有害な機能を特定するのに役立っている。

ABSTRACT

As technology continues to advance, there is increasing concern about individuals being left behind. Many businesses are striving to adopt responsible design practices and avoid any unintended consequences of their products and services, ranging from privacy vulnerabilities to algorithmic bias. We propose a novel approach to fairness and inclusiveness based on experimentation. We use experimentation because we want to assess not only the intrinsic properties of products and algorithms but also their impact on people. We do this by introducing an inequality approach to A/B testing, leveraging the Atkinson index from the economics literature. We show how to perform causal inference over this inequality measure. We also introduce the concept of site-wide inequality impact, which captures the inclusiveness impact of targeting specific subpopulations for experiments, and show how to conduct statistical inference on this impact. We provide real examples from LinkedIn, as well as an open-source, highly scalable implementation of the computation of the Atkinson index and its variance in Spark/Scala. We also provide over a year's worth of learnings -- gathered by deploying our method at scale and analyzing thousands of experiments -- on which areas and which kinds of product innovations seem to inherently foster fairness through inclusiveness.

研究の動機と目的

• 保護されたカテゴリーと内在的なアルゴリズム的性質にのみ注目する従来のアルゴリズム的公平性手法の限界を是正すること。
• 平均指標の変化が見られない場合でも、特に社会的資本、ネットワーク強度、アクセスに影響を与える製品機能の意図しない不平等な影響を検出すること。
• 製品変更がユーザーのサブグループ間での参加度の不平等にどのように影響するかを測定する、スケーラブルで実験ベースのアプローチを開発すること。
• 平均効果が中立である場合でも、不平等を意図せず増加または減少させる機能を特定・アラートするフレームワークを提供すること。
• 製品の展開前に包括性への影響を事前に評価できるように、組織が責任ある設計を支援すること。

提案手法

• 経済学におけるアトキンソン指数を応用し、ユーザー参加度の不平等を測定する。特に上位1%の参加度シェアを主要な公平性指標として焦点を当てる。
• A/Bテストにおける処置群と対照群の間のアトキンソン指数の差を推定するために因果推論技術を適用する。
• 解析的手法を用いてアトキンソン指数の分散推定値を導出し、不平等影響に関する統計的推論を可能にする。
• プラットフォーム全体にわたる個々の実験レベルの不平等影響を集約する「サイトワイドの不平等影響」の概念を導入する。
• 大規模なプロダクション実験において、アトキンソン指数とその分散を計算する、非常にスケーラブルなSpark/Scala実装を開発する。
• 数千の実験を分析し、不平等を増加または減少させる要因のパターンを同定する。

実験結果

リサーチクエスチョン

• RQ1 A/Bテストは、平均処置効果に加えて、ユーザー参加度における不平等影響をどのように拡張して測定できるか？
• RQ2 アトキンソン指数は、製品変更の公平性関連の結果を検出するための堅牢で解釈可能な指標として機能できるか？
• RQ3 平均的に中立に見える機能が、特に高参加度または低参加度のユーザーに顕著な不均等な影響を与える程度はどの程度か？
• RQ4 お知らせ、オンボーディングフロー、パフォーマンス最適化など、どのような種類の製品干渉が参加度の不平等を増加または減少させる傾向があるか？
• RQ5 組織はどのようにして、実験パイプラインにおける意図しない不平等影響を体系的かつ効果的に検出・対応できるか？

主な発見

• お知らせのターゲティングが少なくとも参加度が低いユーザーに向けられると、参加度の不平等が顕著に減少し、特にリスクの高い新規ユーザーの早期リテンションを向上させるオンボーディングの促しにおいて顕著だった。
• 高参加度ユーザーに対するお知らせのバッチ処理は、干渉的なアラートの量を減らしたことで不平等を低減した。これは、UXデザインの選択が公平性に影響を与える可能性があることを示している。
• サイトの速度と信頼性の向上、特に低帯域幅向けLinkedInアプリの改善は、参加度が低いユーザーに顕著に良い影響を与え、不平等を低減した。
• ネットワークの可視性や共有ツールといった社会的資本を強化する機能は、ネットワークが強いユーザーがより多く利益を受けるため、しばしば不平等を増加させた。
• 平均効果が顕著でない実験の60％以上が、不平等への顕著な影響を示しており、平均効果以外の不平等の監視の重要性が浮き彫りになった。
• この手法は、リアルタイムで不平等影響のプラス面とマイナス面を効果的に同定し、平均効果が中立であるにもかかわらず不平等を増加させる機能の展開を中止する結果につながった。