[論文レビュー] AidUI: Toward Automated Recognition of Dark Patterns in User Interfaces

SM Hasan Mansur, Sabiha Salma+2 more|arXiv (Cornell University)|Mar 12, 2023

Data Visualization and Analytics被引用数 5

ひとこと要約

本稿では、スクリーンショットの視覚的およびテキスト的手がかりを分析するためにコンピュータビジョンとNLPを用い、モバイルおよびWebアプリケーションにおける10種類のUIダークパターンを自動検出・局所化するAidUIという自動化システムを紹介する。501枚のラベル付きスクリーンショットからなるContextDPデータセット上で評価した結果、全体のF1スコアは0.65を達成し、局所化精度（IoU = 0.84）が高く、特定のパターンではF1 > 0.82の優れた性能を示した。

ABSTRACT

Past studies have illustrated the prevalence of UI dark patterns, or user interfaces that can lead end-users toward (unknowingly) taking actions that they may not have intended. Such deceptive UI designs can result in adverse effects on end users, such as oversharing personal information or financial loss. While significant research progress has been made toward the development of dark pattern taxonomies, developers and users currently lack guidance to help recognize, avoid, and navigate these often subtle design motifs. However, automated recognition of dark patterns is a challenging task, as the instantiation of a single type of pattern can take many forms, leading to significant variability. In this paper, we take the first step toward understanding the extent to which common UI dark patterns can be automatically recognized in modern software applications. To do this, we introduce AidUI, a novel automated approach that uses computer vision and natural language processing techniques to recognize a set of visual and textual cues in application screenshots that signify the presence of ten unique UI dark patterns, allowing for their detection, classification, and localization. To evaluate our approach, we have constructed ContextDP, the current largest dataset of fully-localized UI dark patterns that spans 175 mobile and 83 web UI screenshots containing 301 dark pattern instances. The results of our evaluation illustrate that \AidUI achieves an overall precision of 0.66, recall of 0.67, F1-score of 0.65 in detecting dark pattern instances, reports few false positives, and is able to localize detected patterns with an IoU score of ~0.84. Furthermore, a significant subset of our studied dark patterns can be detected quite reliably (F1 score of over 0.82), and future research directions may allow for improved detection of additional patterns.

研究の動機と目的

• ユーザーが意図しない操作（例えば、意図しない購入やデータ共有など）をとらせる、だましのUIデザインの増加に対処するため。
• 開発者がUI内のダークパターンを検出し、是正するのを支援する自動化システムを開発するため。
• 自動検出ツールのトレーニングおよび評価に使用可能な、大規模かつ完全にアノテートされたダークパターンインスタンスのデータセットを作成するため。
• UIスクリーンショットにおける視覚的およびテキスト的手がかりを統合したマルチモーダル検出の可能性を調査するため。
• 有害なデザインパターンを自動的に特定することで、今後の倫理的なUI/UXデザインを支援するツールの基盤を提供するため。

提案手法

• AidUIは、静的UIスクリーンショットからダークパターンを検出するために、コンピュータビジョン（Faster R-CNN）とNLP技術を統合する。
• 視覚的手がかりは、ダークパターンインスタンスのボクシングボックスでトレーニングされたFaster R-CNNオブジェクト検出モデルを用いて抽出する。
• テキスト的手がかりは、UI要素内の誘導的または誤解を招く表現を特定するためのヒューリスティックベースのパターンマッチングを用いて分析する。
• マルチモーダル統合は、視覚的およびテキスト的信号を統合することで、検出精度と局所化精度を向上させる。
• 本システムは、175枚のモバイルおよび83枚のWeb UIスクリーンショットを含み、301個の完全に局所化されたダークパターンインスタンスを持つ、新たに構築されたContextDPデータセットでトレーニングおよび評価された。
• 局所化精度はIoU（共通部分割合）を用いて測定され、検出性能は適合率、再現率、F1スコアで評価された。

実験結果

リサーチクエスチョン

• RQ1 静的UIスクリーンショットからの視覚的およびテキスト的手がかりを用いて、UIダークパターンの自動検出は可能か？
• RQ2 コンピュータビジョンとNLPを統合したマルチモーダルアプローチは、ダークパターンの検出および局所化においてどの程度効果的か？
• RQ3 既存のダークパターン分類法は、実世界のUIに適用可能な形で統合可能で、自動検出に応用可能か？
• RQ4 ヒューリスティックベースのNLPルールは、だましのUIパターンの多様な言語的表現にどの程度一般化可能か？
• RQ5 大規模かつ完全にアノテートされたダークパターンインスタンスデータセット上で、自動検出の性能はどの程度か？

主な発見

• AidUIはContextDPデータセット上で全体のF1スコア0.65を達成し、複数のダークパターンタイプにわたり優れた検出性能を示した。
• 誤検出が非常に少ないため、実際のダークパターンインスタンスを特定する精度が高く、高い適合率を示した。
• 局所化精度は高く、IoUスコア0.84を達成し、検出されたパターンの正確なバウンディングボックス予測が可能であることを示した。
• 注目を散らす（Attention Distraction）や強制継続（Forced Continuity）などの重要な一部のダークパターンは、F1スコア0.82以上で検出された。
• 視覚的およびテキスト的手がかりの統合により、検出性能が向上し、マルチモーダル分析の価値が裏付けられた。
• 501枚のスクリーンショットと301個の完全に局所化されたダークパターンインスタンスを含むContextDPデータセットは、同種で最大の公開データセットである。