[论文解读] Automated Experiments on Ad Privacy Settings: A Tale of Opacity, Choice, and Discrimination

Amit Datta, Michael Carl Tschantz+1 more|arXiv (Cornell University)|Aug 27, 2014

Privacy, Security, and Data Protection参考文献 14被引用 77

一句话总结

本文提出 AdFisher，一种自动化工具，通过随机化、受控实验研究谷歌广告隐私设置中的透明度、选择权与歧视问题。利用机器学习与统计显著性检验，研究发现谷歌广告设置在用户敏感浏览（如药物滥用）导致的个人资料变更方面存在不透明性，用户控制权有限，且可能因广告生态系统黑箱特性而引发基于性别的广告歧视——例如，女性用户收到的高薪职位广告更少，且缺乏明确的责任追究机制。

ABSTRACT

To partly address people's concerns over web tracking, Google has created the Ad Settings webpage to provide information about and some choice over the profiles Google creates on users. We present AdFisher, an automated tool that explores how user behaviors, Google's ads, and Ad Settings interact. AdFisher can run browser-based experiments and analyze data using machine learning and significance tests. Our tool uses a rigorous experimental design and statistical analysis to ensure the statistical soundness of our results. We use AdFisher to find that the Ad Settings was opaque about some features of a user's profile, that it does provide some choice on ads, and that these choices can lead to seemingly discriminatory ads. In particular, we found that visiting webpages associated with substance abuse changed the ads shown but not the settings page. We also found that setting the gender to female resulted in getting fewer instances of an ad related to high paying jobs than setting it to male. We cannot determine who caused these findings due to our limited visibility into the ad ecosystem, which includes Google, advertisers, websites, and users. Nevertheless, these results can form the starting point for deeper investigations by either the companies themselves or by regulatory bodies.

研究动机与目标

• 调查谷歌广告设置是否为个性化广告提供了有意义的透明度与用户控制权。
• 评估用户行为（尤其是敏感话题上的行为）是否会导致广告内容或设置的可检测变化。
• 检查广告系统是否基于性别或敏感兴趣表现出歧视性行为。
• 评估自动化工具在揭示大规模、去中心化广告生态系统中隐藏行为方面的有效性。
• 识别广告隐私机制中可能需要监管或平台层面干预的系统性问题。

提出的方法

• AdFisher 使用模拟用户代理自动化浏览器实验，访问网页或修改广告设置。
• 从谷歌收集实验组与对照组的广告及相应广告设置数据。
• 使用机器学习检测两组之间广告内容与设置的统计显著差异。
• 对每个检测到的差异应用显著性检验，以确保统计严谨性并避免假阳性结果。
• 实验设计采用随机化与对照，以隔离用户行为对广告投放的因果影响。
• 该工具作为黑箱分析运行，将广告生态系统视为不透明系统，不访问其内部逻辑或数据流。

实验结果

研究问题

• RQ1 谷歌广告设置在多大程度上透明地反映了基于浏览行为推断的用户个人资料变更？
• RQ2 修改广告设置是否会导致显示广告的可测量、统计显著的变化？
• RQ3 是否存在用户在敏感话题（如药物滥用）上浏览后导致广告目标出现歧视性的情况？
• RQ4 自动化实验能否检测到广告定位算法的非预期后果，例如基于敏感内容的再营销？
• RQ5 当去中心化广告生态系统中出现歧视性或不透明行为时，责任应由谁承担？

主要发现

• 访问与药物滥用相关的网站会导致显示的广告发生变化，但广告设置页面并未反映这些变化，表明个人资料透明度存在不透明性。
• 将性别设置为女性时，与男性相比，显示的高薪职位广告显著减少，表明可能存在基于性别的歧视。
• 在访问药物滥用相关网站后，广告系统显示出再营销行为的迹象，尽管谷歌明文规定禁止针对敏感健康信息进行定位。
• 该工具检测到广告内容与设置之间存在统计显著差异，证明自动化实验能够揭示广告投放中的隐藏行为模式。
• 谷歌广告设置提供的用户控制权有限，因为更改并不总是反映在所显示的广告中，且系统内部逻辑仍基本不可访问。
• 研究结果表明，即使没有明确的广告商不当行为，大规模机器学习系统也可能因间接相关性和缺乏监督而产生歧视性结果。