[논문 리뷰] AidUI: Toward Automated Recognition of Dark Patterns in User Interfaces

SM Hasan Mansur, Sabiha Salma외 2명|arXiv (Cornell University)|2023. 03. 12.

Data Visualization and Analytics인용 수 5

한 줄 요약

이 논문은 컴퓨터 비전과 자연어 처리를 활용해 스크린샷의 시각적 및 텍스트적 신호를 분석함으로써 모바일 및 웹 애플리케이션에서 10종류의 UI 다크 패턴을 자동으로 탐지하고 국소화하는 AidUI라는 자동화된 시스템을 소개한다. 501개의 레이블이 부여된 스크린샷으로 구성된 ContextDP 데이터셋에서 평가한 결과, AidUI는 총합 F1-스코어 0.65를 기록하였으며, 국소화 정확도가 높고(Intersection over Union = 0.84), 특정 패턴에 대해서는 뛰어난 성능(F1 > 0.82)을 보였다.

ABSTRACT

Past studies have illustrated the prevalence of UI dark patterns, or user interfaces that can lead end-users toward (unknowingly) taking actions that they may not have intended. Such deceptive UI designs can result in adverse effects on end users, such as oversharing personal information or financial loss. While significant research progress has been made toward the development of dark pattern taxonomies, developers and users currently lack guidance to help recognize, avoid, and navigate these often subtle design motifs. However, automated recognition of dark patterns is a challenging task, as the instantiation of a single type of pattern can take many forms, leading to significant variability. In this paper, we take the first step toward understanding the extent to which common UI dark patterns can be automatically recognized in modern software applications. To do this, we introduce AidUI, a novel automated approach that uses computer vision and natural language processing techniques to recognize a set of visual and textual cues in application screenshots that signify the presence of ten unique UI dark patterns, allowing for their detection, classification, and localization. To evaluate our approach, we have constructed ContextDP, the current largest dataset of fully-localized UI dark patterns that spans 175 mobile and 83 web UI screenshots containing 301 dark pattern instances. The results of our evaluation illustrate that \AidUI achieves an overall precision of 0.66, recall of 0.67, F1-score of 0.65 in detecting dark pattern instances, reports few false positives, and is able to localize detected patterns with an IoU score of ~0.84. Furthermore, a significant subset of our studied dark patterns can be detected quite reliably (F1 score of over 0.82), and future research directions may allow for improved detection of additional patterns.

연구 동기 및 목표

• 사용자를 의도하지 않은 행동(예: 의도하지 않은 구매 또는 데이터 공유)으로 유도하는 기만적인 UI 설계의 증가를 해결하기 위해.
• 개발자가 UI 내의 다크 패턴을 탐지하고 수정할 수 있도록 도와주는 자동화된 시스템을 개발하기 위해.
• 자동 탐지 도구의 훈련 및 평가를 위해 사용할 수 있는 대규모로 완전히 주석이 부여된 다크 패턴 사례 데이터셋을 구축하기 위해.
• UI 스크린샷의 시각적 및 텍스트적 신호를 활용한 다중모달 탐지의 가능성을 탐색하기 위해.
• 미래의 윤리적인 UI/UX 설계를 지원하는 도구들의 기반을 마련하기 위해, 해로운 설계 패턴을 자동으로 식별하기 위해.

제안 방법

• AidUI는 정적 UI 스크린샷에서 다크 패턴을 탐지하기 위해 컴퓨터 비전(Faster R-CNN)과 자연어 처리 기법을 결합한다.
• 시각적 신호는 다크 패턴 사례의 바운딩 박스에 대해 훈련된 Faster R-CNN 객체 검출 모델을 통해 추출된다.
• 텍스트적 신호는 히ュ리스틱 기반 패턴 매칭을 통해 UI 요소 내의 설득적 또는 오도하는 언어를 식별한다.
• 다중모달 융합은 시각적 및 텍스트적 신호를 통합하여 탐지 정확도와 국소화 성능을 향상시킨다.
• 시스템은 175개의 모바일 및 83개의 웹 UI 스크린샷으로 구성된 새로운 데이터셋인 ContextDP에서 훈련 및 평가되었으며, 301개의 완전히 국소화된 다크 패턴 사례를 포함한다.
• 국소화 정확도는 IoU(교차 영역 비율)를 사용하여 측정하며, 정밀도, 재현율 및 F1-스코어는 탐지 성능 평가에 사용된다.

실험 결과

연구 질문

• RQ1 정적 UI 스크린샷에서 시각적 및 텍스트적 신호를 활용해 UI 다크 패턴의 자동 탐지가 가능할 수 있는가?
• RQ2 컴퓨터 비전과 자연어 처리를 융합한 다중모달 접근 방식이 다크 패턴의 탐지 및 국소화에 얼마나 효과적인가?
• RQ3 기존의 다크 패턴 분류 체계는 실제 UI 환경에서 자동 탐지에 적용하기 위해 얼마나 통합되고 적용될 수 있는가?
• RQ4 히ュ리스틱 기반의 자연어 처리 규칙은 기만적인 UI 패턴의 다양한 언어적 표현에 얼마나 일반화되는가?
• RQ5 대규모로 완전히 주석이 부여된 다크 패턴 사례 데이터셋에서 자동 탐지의 성능은 어떠한가?

주요 결과

• AidUI는 ContextDP 데이터셋에서 총합 F1-스코어 0.65를 기록하여 다양한 다크 패턴 유형에 걸쳐 뛰어난 탐지 성능를 보였다.
• 오진이 매우 적어 실제 다크 패턴 사례를 식별하는 데 정밀도가 높다는 것을 시사한다.
• 국소화 정확도가 매우 높아 IoU 스코어가 0.84로, 탐지된 패턴의 정확한 바운딩 박스 예측 능력을 입증한다.
• 주의 산산이 흩어지는 패턴, 강제 계속 사용 패턴 등 일부 주요 다크 패턴들은 F1-스코어가 0.82를 초과하여 탐지되었다.
• 시각적 및 텍스트적 신호의 통합은 탐지 성능 향상에 기여하여 다중모달 분석의 가치를 확인한다.
• ContextDP 데이터셋은 501장의 스크린샷과 301개의 완전히 국소화된 다크 패턴 사례를 포함하여, 현재까지 공개된 바 중 가장 큰 규모의 데이터셋이다.