[論文レビュー] Automated detection of dark patterns in cookie banners: how to do it poorly and why it is hard to do it any other way

Than Htut Soe, Cristiana Santos+1 more|arXiv (Cornell University)|Apr 21, 2022

Digital Media Forensic Detection被引用数 17

ひとこと要約

本論文では、手動ラベル付きの300件のニュースウェブサイトのデータセットを用いて、Cookieバナーにおける5種類のダークパターンを自動検出するための教師あり機械学習手法を提示する。高い精度を達成しているが改善の余地があるものの、特徴工学、データセット品質、ダークパターンの認知的複雑性といった主要な学際的課題を浮き彫りにした。本研究は、視覚的およびテキスト的特徴をカスタマイズしたデータセットを用いた、分野特化型でマルチモーダルな検出パイプラインの必要性を提唱する。

ABSTRACT

Cookie banners, the pop ups that appear to collect your consent for data collection, are a tempting ground for dark patterns. Dark patterns are design elements that are used to influence the user's choice towards an option that is not in their interest. The use of dark patterns renders consent elicitation meaningless and voids the attempts to improve a fair collection and use of data. Can machine learning be used to automatically detect the presence of dark patterns in cookie banners? In this work, a dataset of cookie banners of 300 news websites was used to train a prediction model that does exactly that. The machine learning pipeline we used includes feature engineering, parameter search, training a Gradient Boosted Tree classifier and evaluation. The accuracy of the trained model is promising, but allows a lot of room for improvement. We provide an in-depth analysis of the interdisciplinary challenges that automated dark pattern detection poses to artificial intelligence. The dataset and all the code created using machine learning is available at the url to repository removed for review.

研究の動機と目的

• 教師あり機械学習を用いてCookieバナーにおけるダークパターンの検出が実現可能かどうかを調査すること。
• AIを用いたダークパターン検出の自動化における学際的課題を特定・分析すること。
• 手動ラベル付きのCookieバナーデータセットを用いて勾配ブースティングツリー分類器の性能を評価すること。
• 信頼できる自動検出を実現するための、現在のデータセットおよび特徴工学の限界を強調すること。
• 今後の研究のためのロードマップを提示すること、特に分野特化型でマルチモーダルな検出パイプラインを想定すること。

提案手法

• ニュースウェブサイトの300件のCookieバナーから構成されるデータセットを用い、各バナーは15の可能なダークパターンカテゴリ（5種類のタイプ × 3段階の信頼度）のうちの1つにラベル付けされた。
• 位置、テキスト量、ボタン数、UIデザイン要素などを含む、構造的およびテキスト的特徴を抽出するための特徴工学が適用された。
• ハイパーパramータチューニングをグリッドサーチで実施し、モデル性能を最適化する目的で勾配ブースティングツリー分類器を訓練した。
• 標準的な指標を用いてモデルの評価が行われ、中程度の精度が得られたが、改善の余地が著しく残っていることが示された。
• 本アプローチでは、各Cookieバナーを数値型、カテゴリカル型、テキスト型の混合特徴からなるベクトルとして表現する。
• 本研究は、視覚的および言語的手がかりに特に焦点を当てた、分野特化型でマルチモーダルなパイプラインの必要性を強調している。

実験結果

リサーチクエスチョン

• RQ1 教師あり機械学習を用いて、大規模にCookieバナーにおけるダークパターンを効果的に検出できるか？
• RQ2 ダークパターン検出のための信頼性のあるトレーニングデータセットを構築するうえでの主な課題は何か？
• RQ3 特徴工学およびデータ品質は、ダークパターン検出における機械学習モデルの性能にどのように影響するか？
• RQ4 高度なAI技術を用いても、なぜダークパターンの自動検出が本質的に困難なのか？
• RQ5 今後の自動ダークパターン検出システム開発における最も有望な方向性は何か？

主な発見

• 訓練された勾配ブースティングツリー分類器は、有望ではあるが最適でない精度を達成しており、現在のアプローチは実世界への導入にはまだ十分に堅牢ではないことが示された。
• 使用されたデータセットは小さく、不均衡であり、異なるダークパターンタイプの出現頻度にばらつきがあるため、モデルの一般化性能に顕著な影響を与えた。
• 特徴工学は極めて困難であった。元のデータセットは特定のダークパターンタイプを区別するように設計されていなかったため、モデルの識別能力が制限された。
• 『見つかった』データセットに特徴が設計されていなかったため、ダークパターンを明確に分離できる特徴が明確に存在しなかった。
• 研究者らは、ダークパターンの検出が人間とコンピュータのインタラクションや認知科学の専門知識を要する複雑な認知的タスクであると結論づけた。技術的なAI手法だけでは不十分である。
• 今後の研究は、視覚的およびテキスト的特徴をカスタマイズした、分野特化型のデータセットの構築に注力すべきである。