[論文レビュー] Automated Experiments on Ad Privacy Settings: A Tale of Opacity, Choice, and Discrimination

Amit Datta, Michael Carl Tschantz+1 more|arXiv (Cornell University)|Aug 27, 2014

Privacy, Security, and Data Protection参考文献 14被引用数 77

ひとこと要約

本論文では、Googleの広告プライバシー設定における透明性、選択肢、差別的取り扱いの研究を、ランダム化・制御された実験を通じて自動化するAdFisherというツールを提示する。機械学習と統計的有意性検定を用いて、Googleの広告設定が、感受性の高い閲覧（例：薬物乱用）に基づくプロファイル変更について曇った説明をし、ユーザーの制御が限定的であり、性別に基づく広告差別（例：女性に対して高給の求人広告が少ない）を引き起こす可能性があることが判明した。広告エコシステムのブラックボックス性のため、明確な責任の所在がない。

ABSTRACT

To partly address people's concerns over web tracking, Google has created the Ad Settings webpage to provide information about and some choice over the profiles Google creates on users. We present AdFisher, an automated tool that explores how user behaviors, Google's ads, and Ad Settings interact. AdFisher can run browser-based experiments and analyze data using machine learning and significance tests. Our tool uses a rigorous experimental design and statistical analysis to ensure the statistical soundness of our results. We use AdFisher to find that the Ad Settings was opaque about some features of a user's profile, that it does provide some choice on ads, and that these choices can lead to seemingly discriminatory ads. In particular, we found that visiting webpages associated with substance abuse changed the ads shown but not the settings page. We also found that setting the gender to female resulted in getting fewer instances of an ad related to high paying jobs than setting it to male. We cannot determine who caused these findings due to our limited visibility into the ad ecosystem, which includes Google, advertisers, websites, and users. Nevertheless, these results can form the starting point for deeper investigations by either the companies themselves or by regulatory bodies.

研究の動機と目的

• Googleの広告設定が、パーソナライズド広告に関する意味のある透明性とユーザーの制御を提供しているかどうかを調査すること。
• 特に感受性の高いトピックに関するユーザー行動が、広告コンテンツや設定に検出可能な変化をもたらすかどうかを評価すること。
• 広告システムが性別や感受性の高い関心に基づいて差別的行動を示すかどうかを検証すること。
• 大規模かつ分散型の広告エコシステムにおける隠れた行動を解明するために、自動化ツールの有効性を評価すること。
• 規制的またはプラットフォームレベルの対策を要する広告プライバシー機構におけるシステム的問題を特定すること。

提案手法

• AdFisherは、シミュレートされたユーザーエージェントを用いてブラウザベースの実験を自動化し、Webページを訪問するか広告設定を変更する。
• 実験群と対照群の両方に対して、Googleから広告および関連する広告設定データを収集する。
• 機械学習を用いて、両群間の広告コンテンツおよび設定に有意な差が生じるかを検出する。
• 有意性検定を各検出された差に適用し、誤検出を回避するための統計的厳密性を確保する。
• ユーザー行動が広告配信に与える因果的影響を隔離するため、ランダム化と対照群を用いた実験設計を行う。
• ツールはブラックボックス分析として動作し、広告エコシステムを不透明なものとして扱い、内部論理やデータフローへのアクセスなしに分析を行う。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの閲覧行動に基づくプロファイルの変更について、Googleの広告設定はどの程度透明性を示しているか？
• RQ2 広告設定を変更すると、表示される広告に測定可能で統計的に有意な変化が生じるか？
• RQ3 ユーザーが感受性の高いトピック（例：薬物乱用）に関するサイトを閲覧した場合、差別的な広告ターゲティングが生じる事例があるか？
• RQ4 自動化された実験は、感受性の高いコンテンツに基づくリマーケティングなどの広告ターゲティングアルゴリズムの意図しない結果を検出できるか？
• RQ5 分散型広告エコシステムで差別的または曇った行動が生じた場合、責任は誰にあるのか？

主な発見

• 薬物乱用関連のウェブサイトを訪問したことで広告の内容に変化が生じたが、広告設定ページにはその変化が反映されておらず、プロファイルの透明性に欠けることが示された。
• 性別を「女性」に設定した場合、男性に設定した場合と比較して、高給の求人広告が有意に少ない頻度で表示された。これは、性別に基づく差別的傾向を示唆している。
• 薬物乱用関連のサイト訪問後、Googleが感受性の高い健康情報のターゲティングを禁止しているにもかかわらず、リマーケティングの兆候が広告システムに見られた。
• ツールは広告コンテンツおよび設定に統計的に有意な差を検出でき、自動化された実験が広告配信における隠れた行動パターンを解明できることを示した。
• 広告設定は変更が広告に反映されないことも多く、内部論理がほとんどアクセス不能であるため、ユーザーの制御は限定的である。
• 明確な広告主の不正行為がなくても、大規模な機械学習システムが間接的な相関関係や監視の欠如により差別的結果を生み出す可能性があることが、研究結果から示唆された。