[논문 리뷰] Automated Experiments on Ad Privacy Settings: A Tale of Opacity, Choice, and Discrimination

Amit Datta, Michael Carl Tschantz외 1명|arXiv (Cornell University)|2014. 08. 27.

Privacy, Security, and Data Protection참고 문헌 14인용 수 77

한 줄 요약

이 논문은 구글 광고 프라이버시 설정에서 투명성, 선택권, 차별성에 대해 무작위로 통제된 실험을 수행하는 자동화된 도구인 AdFisher를 제시한다. 기계학습과 통계적 유의성 검정을 통해, 구글의 광고 설정이 민감한 브라우징(예: 약물 남용)으로 인한 프로필 변경 사항에 대해 투명하지 않으며, 사용자 통제 기능이 제한적이며, 성별 기반 광고 차별(예: 여성에게 높은 급여의 직업 광고가 적게 노출됨)을 초래할 수 있음을 드러낸다. 이는 광고 생태계의 블랙박스 성격으로 인해 명확한 책임 소재가 없기 때문이다.

ABSTRACT

To partly address people's concerns over web tracking, Google has created the Ad Settings webpage to provide information about and some choice over the profiles Google creates on users. We present AdFisher, an automated tool that explores how user behaviors, Google's ads, and Ad Settings interact. AdFisher can run browser-based experiments and analyze data using machine learning and significance tests. Our tool uses a rigorous experimental design and statistical analysis to ensure the statistical soundness of our results. We use AdFisher to find that the Ad Settings was opaque about some features of a user's profile, that it does provide some choice on ads, and that these choices can lead to seemingly discriminatory ads. In particular, we found that visiting webpages associated with substance abuse changed the ads shown but not the settings page. We also found that setting the gender to female resulted in getting fewer instances of an ad related to high paying jobs than setting it to male. We cannot determine who caused these findings due to our limited visibility into the ad ecosystem, which includes Google, advertisers, websites, and users. Nevertheless, these results can form the starting point for deeper investigations by either the companies themselves or by regulatory bodies.

연구 동기 및 목표

• 구글의 광고 설정이 맞춤형 광고에 대한 의미 있는 투명성과 사용자 통제 기능을 제공하는지 조사하기 위해.
• 특히 민감한 주제에 대한 사용자 행동이 광고 내용이나 설정에 감지 가능한 변화를 초래하는지 평가하기 위해.
• 광고 시스템이 성별 또는 민감한 관심사 기반으로 차별적인 행동을 보이는지 검토하기 위해.
• 대규모이고 분산된 광고 생태계에서 숨겨진 행동을 드러내는 데에 자동화된 도구의 효과성을 평가하기 위해.
• 규제 또는 플랫폼 수준의 개입이 필요할 수 있는 광고 프라이버시 메커니즘의 체계적 문제를 규명하기 위해.

제안 방법

• AdFisher는 시뮬레이션 사용자 에이전트를 사용하여 브라우저 기반 실험을 자동화하여 웹페이지를 방문하거나 광고 설정을 수정한다.
• 실험군과 대조군에 대해 구글에서 광고 및 관련 광고 설정 데이터를 수집한다.
• 기계학습을 사용하여 두 그룹 간 광고 내용과 설정의 통계적 유의성 있는 차이를 탐지한다.
• 각 탐지된 차이에 대해 유의성 검정을 적용하여 통계적 엄밀성을 확보하고 허위 양성 결과를 방지한다.
• 사용자 행동이 광고 배달에 미치는 인과적 영향을 고립시키기 위해 무작위화와 대조를 설계한다.
• 도구는 블랙박스 분석 방식으로 작동하며, 광고 생태계를 투명한 것으로 간주하고 내부 논리나 데이터 흐름에 대한 액세스 없이 분석한다.

실험 결과

연구 질문

• RQ1 사용자의 브라우징 행동에 기반해 유추되는 프로필 변화에 대해 구글의 광고 설정은 어느 정도 투명한가?
• RQ2 광고 설정을 수정하면 노출되는 광고에 측정 가능하고 통계적으로 유의미한 변화가 발생하는가?
• RQ3 사용자가 민감한 주제(예: 약물 남용)에 대해 행동을 취할 경우, 차별적인 광고 타겟팅이 발생하는 경우가 있는가?
• RQ4 자동화된 실험은 민감한 콘텐츠 기반 리마케팅과 같은 광고 타겟팅 알고리즘의 뜻하지 않은 결과를 탐지할 수 있는가?
• RQ5 분산된 광고 생태계에서 차별적이거나 투명하지 않은 행동이 나타날 경우, 누가 책임져야 하는가?

주요 결과

• 약물 남용 관련 웹사이트를 방문한 결과 광고가 변경되었지만, 광고 설정 페이지는 이러한 변경 사항을 반영하지 않아 프로필 투명성 부족을 보여준다.
• 성별을 여성으로 설정한 경우 남성으로 설정한 경우보다 높은 급여의 직업 광고 노출 빈도가 유의미하게 줄어들었으며, 잠재적인 성별 기반 차별을 시사한다.
• 약물 남용 사이트 방문 후에도 광고 시스템이 리마케팅 행동을 보였지만, 구글의 공식 정책은 민감한 건강 정보 타겟팅을 금지하고 있음에도 이를 어길 수 있었다.
• 도구는 광고 내용과 설정 간 통계적 유의미한 차이를 탐지하여, 자동화된 실험을 통해 광고 배달의 숨겨진 행동 패턴을 드러낼 수 있음을 입증한다.
• 구글의 광고 설정은 변경 사항이 항상 광고에 반영되지 않으며 내부 논리가 대부분 접근 불가능하므로 사용자 통제 기능이 제한적이다.
• 명시적인 광고주 위반 없이도 대규모 기계학습 시스템이 간접적인 상관관계와 감시 부족으로 인해 차별적인 결과를 낳을 수 있음을 발견했다.