[论文解读] AidUI: Toward Automated Recognition of Dark Patterns in User Interfaces

SM Hasan Mansur, Sabiha Salma+2 more|arXiv (Cornell University)|Mar 12, 2023

Data Visualization and Analytics被引用 5

一句话总结

本文提出AidUI，一种自动化系统，通过计算机视觉和自然语言处理技术分析截图中的视觉和文本线索，检测并定位移动和网页应用中的十种UI暗黑模式。在包含501张标注截图的ContextDP数据集上评估，AidUI的整体F1得分为0.65，定位准确率高（IoU = 0.84），对特定暗黑模式的检测性能优异（F1 > 0.82）。

ABSTRACT

Past studies have illustrated the prevalence of UI dark patterns, or user interfaces that can lead end-users toward (unknowingly) taking actions that they may not have intended. Such deceptive UI designs can result in adverse effects on end users, such as oversharing personal information or financial loss. While significant research progress has been made toward the development of dark pattern taxonomies, developers and users currently lack guidance to help recognize, avoid, and navigate these often subtle design motifs. However, automated recognition of dark patterns is a challenging task, as the instantiation of a single type of pattern can take many forms, leading to significant variability. In this paper, we take the first step toward understanding the extent to which common UI dark patterns can be automatically recognized in modern software applications. To do this, we introduce AidUI, a novel automated approach that uses computer vision and natural language processing techniques to recognize a set of visual and textual cues in application screenshots that signify the presence of ten unique UI dark patterns, allowing for their detection, classification, and localization. To evaluate our approach, we have constructed ContextDP, the current largest dataset of fully-localized UI dark patterns that spans 175 mobile and 83 web UI screenshots containing 301 dark pattern instances. The results of our evaluation illustrate that \AidUI achieves an overall precision of 0.66, recall of 0.67, F1-score of 0.65 in detecting dark pattern instances, reports few false positives, and is able to localize detected patterns with an IoU score of ~0.84. Furthermore, a significant subset of our studied dark patterns can be detected quite reliably (F1 score of over 0.82), and future research directions may allow for improved detection of additional patterns.

研究动机与目标

• 为应对日益普遍的欺骗性UI设计所导致的用户无意操作（如无意购买或数据共享）问题。
• 开发一种自动化系统，帮助开发者检测并修正UI中的暗黑模式，降低用户受害风险。
• 构建一个大规模、完全标注的暗黑模式实例数据集，用于训练和评估自动化检测工具。
• 探究利用UI截图中的视觉和文本线索进行多模态检测的可行性。
• 为未来支持伦理UI/UX设计的工具奠定基础，通过自动识别有害设计模式。

提出的方法

• AidUI结合计算机视觉（Faster R-CNN）和自然语言处理技术，从静态UI截图中检测暗黑模式。
• 通过在暗黑模式实例边界框上训练的Faster R-CNN目标检测模型提取视觉线索。
• 利用基于启发式的模式匹配分析文本线索，识别UI元素中具有说服力或误导性的语言。
• 多模态融合将视觉和文本信号结合，以提升检测准确率和定位精度。
• 系统在ContextDP数据集上进行训练和评估，该数据集包含175张移动UI和83张网页UI截图，共301个完全定位的暗黑模式实例。
• 使用IoU（交并比）衡量定位准确率，而精确率、召回率和F1得分用于评估检测性能。

实验结果

研究问题

• RQ1 能否仅通过静态UI截图中的视觉和文本线索实现UI暗黑模式的自动化检测？
• RQ2 结合计算机视觉和自然语言处理的多模态方法在检测和定位暗黑模式方面的有效性如何？
• RQ3 现有暗黑模式分类体系在多大程度上可统一并应用于现实世界UI中的自动化检测？
• RQ4 基于启发式的NLP规则在不同语言表达形式的欺骗性UI模式上泛化能力如何？
• RQ5 自动化检测在大规模、完全标注的暗黑模式实例数据集上的表现如何？

主要发现

• AidUI在ContextDP数据集上实现整体F1得分为0.65，表明其在多种暗黑模式类型上均具备出色的检测性能。
• 系统误报极少，表明其在识别实际暗黑模式实例方面具有高精确率。
• 定位准确率高，IoU得分为0.84，表明对检测到的模式能精确预测边界框。
• 显著一部分暗黑模式（如注意力干扰、强制续订）的F1得分超过0.82。
• 视觉与文本线索的融合提升了检测性能，证实了多模态分析的价值。
• ContextDP数据集包含501张截图和301个完全定位的暗黑模式实例，是目前公开的最大同类数据集。