[論文レビュー] Algorithms that "Don't See Color": Comparing Biases in Lookalike and Special Ad Audiences

Piotr Sapieżyński, Avijit Ghosh+3 more|arXiv (Cornell University)|Dec 16, 2019

Ethics and Social Impacts of AI参考文献 26被引用数 10

ひとこと要約

本研究では、性別、年齢、人種などの性的特徴を含まないよう設計されたFacebookのSpecial Ad Audiencesアルゴリズムを評価し、こうした入力を削除することで広告ターゲティングにおけるバイアスが解消されるかを検証した。顕著な属性が除外されても、アルゴリズムは依然として標準のLookalike Audiencesとほぼ同一の極端に偏ったオーディエンスを生成しており、関連する特徴やコンテンツベースの配信メカニズムを通じてバイアスが継続していることが示された。

ABSTRACT

Researchers and journalists have repeatedly shown that algorithms commonly used in domains such as credit, employment, healthcare, or criminal justice can have discriminatory effects. Some organizations have tried to mitigate these effects by simply removing sensitive features from an algorithm's inputs. In this paper, we explore the limits of this approach using a unique opportunity. In 2019, Facebook agreed to settle a lawsuit by removing certain sensitive features from inputs of an algorithm that identifies users similar to those provided by an advertiser for ad targeting, making both the modified and unmodified versions of the algorithm available to advertisers. We develop methodologies to measure biases along the lines of gender, age, and race in the audiences created by this modified algorithm, relative to the unmodified one. Our results provide experimental proof that merely removing demographic features from a real-world algorithmic system's inputs can fail to prevent biased outputs. As a result, organizations using algorithms to help mediate access to important life opportunities should consider other approaches to mitigating discriminatory effects.

研究の動機と目的

• FacebookのLookalike Audienceアルゴリズムから性的特徴（例：性別、年齢、人種）を削除することで、広告ターゲティングにおける性的スケーリングが軽減されるかどうかを評価すること。
• 訴訟の後、規制遵守策として導入されたFacebookのSpecial Ad Audiencesツールが、標準のLookalike Audiencesと比較してバイアスを効果的に軽減するかどうかを調査すること。
• 保護された属性が除外されても、コンテンツベースの広告配信メカニズムやソースオーディエンスの構成が、継続的な性的スケーリングにどのように寄与するかを検討すること。
• 住宅、雇用、クレジット広告など、高リスク分野におけるアルゴリズムバイアスの実世界への影響を評価すること。
• 大規模プラットフォームにおける実世界のアルゴリズム的ターゲティングシステム間でのバイアスを測定・比較するための手法を開発すること。

提案手法

• 性別、年齢、人種の偏りが明らかなソースオーディエンス（例：全員が女性、大部分が男性、多様性がある）を構築し、LookalikeおよびSpecial Ad Audiencesにおけるオーディエンスの偏りをテストした。
• 同じ実世界の広告（例：求人情報）を両方のオーディエンスタイプを通じて配信し、性別、年齢、人種のグループごとの配信分布を測定した。
• 統計的分析を用いて、Lookalike AudiencesとSpecial Ad Audiences間の配信分布を比較し、性的代表性に有意差があるかどうかを検証した。
• コンテンツベースのスケーリングを評価するため、同じターゲットオーディエンスに対して異なる広告文（例：スーパーマーケットの求人広告 vs. AIの求人広告）をテストし、広告コンテンツが配信バイアスに与える影響を分離した。
• Facebook社員から作成されたSpecial Ad Audienceを用いて、実世界の適用可能性とスケーリングを評価するため、実世界の広告配信パターンを分析した。
• 制御実験とプラットフォーム行動の観察的分析を組み合わせた混合手法を用い、システム的バイアスを評価した。

実験結果

リサーチクエスチョン

• RQ1 FacebookのLookalike Audienceアルゴリズムから性的特徴を削除することで、ターゲットオーディエンスにおける性的スケーリングはどの程度軽減されるか？
• RQ2 同じソースオーディエンスを使用した場合、Special Ad Audiencesの性的構成は標準のLookalike Audiencesとどのように異なるか？
• RQ3 ターゲットオーディエンスがバランスされている場合でも、Facebook広告システムのコンテンツベース配信メカニズムが、どの程度性的スケーリングに寄与するか？
• RQ4 ソースオーディエンスの構成が、性的特徴が除外されていようがいまいが、結果としてのターゲットオーディエンスのスケーリングにどのように影響を与えるか？
• RQ5 性的特徴が除外されていながらも、偏った結果を生じるアルゴリズム的ターゲティングツールの法的・倫理的影響は何か？

主な発見

• 100%が女性のソースオーディエンスをターゲットにした場合、Lookalike Audienceは広告を96.1%の女性に配信したが、Special Ad Audienceは91.2%の女性に配信した。両者の差は統計的に有意ではなかった。
• 同じソースオーディエンスを使用した場合、Special Ad Audienceツールは、標準のLookalike Audiencesと比較して性別、年齢、人種のラインでスケーリングを顕著に軽減しなかった。
• Facebook社員（主に男性で25〜34歳）から作成されたSpecial Ad Audienceは、25〜34歳の男性に著しく偏ったターゲットオーディエンスを生成し、継続的な性的バイアスが存在することを示した。
• コンテンツベースの配信メカニズムが顕著なスケーリングを引き起こした：スーパーマーケットの求人広告は中高年女性に過剰に配信された一方、AIの求人広告は若い男性に多く配信された。これは、同じバランスの取れたオーディエンスをターゲットにした場合の結果であった。
• 本研究は、性的特徴がターゲティングアルゴリズムの入力から除外されていながらも、Facebookの広告配信最適化システムがコンテンツの関連性推定を通じてバイアスを拡大できることを確認した。
• 結果から、実世界の複雑な社会技術的環境において、アルゴリズムの入力から性的特徴を削除しても、差別的結果を防ぐには不十分であることが示唆された。