[论文解读] Dark Patterns at Scale: Findings from a Crawl of 11K Shopping Websites

Arunesh Mathur, Güneş Acar+5 more|Lirias (KU Leuven)|Jul 16, 2019

Cybercrime and Law Enforcement Studies参考文献 45被引用 99

一句话总结

该论文提出在11K购物网站范围内的自动化技术来检测暗模式，产生1,818个实例并形成7类中15种模式的分类法。它还识别了欺骗性做法、第三方提供商，并为研究人员和监管者提供数据与工具。

ABSTRACT

Dark patterns are user interface design choices that benefit an online service by coercing, steering, or deceiving users into making unintended and potentially harmful decisions. We present automated techniques that enable experts to identify dark patterns on a large set of websites. Using these techniques, we study shopping websites, which often use dark patterns to influence users into making more purchases or disclosing more information than they would otherwise. Analyzing ~53K product pages from ~11K shopping websites, we discover 1,818 dark pattern instances, together representing 15 types and 7 broader categories. We examine these dark patterns for deceptive practices, and find 183 websites that engage in such practices. We also uncover 22 third-party entities that offer dark patterns as a turnkey solution. Finally, we develop a taxonomy of dark pattern characteristics that describes the underlying influence of the dark patterns and their potential harm on user decision-making. Based on our findings, we make recommendations for stakeholders including researchers and regulators to study, mitigate, and minimize the use of these patterns.

研究动机与目标

• 提供关于购物网站上暗模式的普遍性和多样性的大规模证据。
• 开发自动化方法以识别影响用户决策的UI模式。
• 创建将暗模式特征与认知偏见联系起来的描述性分类法。
• 识别导致暗模式的欺骗性模式及促成者（第三方提供者）。
• 向研究人员、记者和监管机构提供数据、工具和分类法。

提出的方法

• 在 OpenWPM 上构建网络爬虫以模拟用户购物流程（浏览、加入购物车、结账）。
• 通过页面分割和聚类提取文本性UI元素以识别暗模式簇。
• 使用带有 PCA 和 HDBSCAN 聚类的词袋表示法来组织分段以供专家审阅。
• 开发暗模式特征的分类法并将其映射到认知偏见。
• 通过跟踪动态页面中的模式并通过重复爬虫评估来评估欺骗性。

实验结果

研究问题

• RQ1 在规模化的情况下，流行的购物网站上暗模式的普遍性和多样性如何？
• RQ2 自动化方法如何从UI文本和页面分段中检测和分类暗模式？
• RQ3 所检测到的暗模式的特征和潜在认知偏见是什么？
• RQ4 哪些第三方实体促进了在购物网站上部署暗模式？
• RQ5 研究人员和监管机构如何利用这些发现来减轻暗模式的使用？

主要发现

• 在约11K购物网站中的1,254个暗模式实例（≈11.1%）。
• 这1,818个实例跨越15种类型和7大类暗模式。
• 大多数模式是隐蔽、具有欺骗性且涉及信息隐藏；许多利用如默认和框架效应等认知偏见。
• 183个网站展现了欺骗性暗模式，总体识别出234个欺骗性实例。
• 22个第三方实体向购物网站提供暗模式功能，且有两个实体公开宣传欺骗性信息。
• 作者提供自动化测量技术和模式数据集，以及一种新颖的描述性分类法，旨在帮助研究人员和监管机构。