[논문 리뷰] Enhancing Transparency and Control when Drawing Data-Driven Inferences about Individuals

Daizhuo Chen, Samuel P. Fraiberger외 2명|arXiv (Cornell University)|2016. 06. 26.

Privacy, Security, and Data Protection참고 문헌 8인용 수 4

한 줄 요약

이 논문은 사용자가 개인적 특성에 대한 데이터 기반 추론을 억제하기 위해 Facebook 라이크를 선택적으로 숨기는(cloaking) 메커니즘을 제안한다. 이는 추론을 유발하는 최소한의 라이크 집합을 특정 반사적 증거(evidence counterfactuals)를 통해 식별함으로써 이루어지며, 결과적으로 사용자는 평균적으로 단지 5~6개의 라이크만 숨기면 추론을 억제할 수 있음을 보여준다. 그러나 기업들은 라이크 간 특성 상관관계를 활용하는 모델(예: 나이브 베이즈)으로 전환함으로써 이에 대응할 수 있으며, 이는 코킹을 훨씬 더 어렵게 만들게 된다.

ABSTRACT

Recent studies have shown that information disclosed on social network sites (such as Facebook) can be used to predict personal characteristics with surprisingly high accuracy. In this paper we examine a method to give online users transparency into why certain inferences are made about them by statistical models, and control to inhibit those inferences by hiding ("cloaking") certain personal information from inference. We use this method to examine whether such transparency and control would be a reasonable goal by assessing how difficult it would be for users to actually inhibit inferences. Applying the method to data from a large collection of real users on Facebook, we show that a user must cloak only a small portion of her Facebook Likes in order to inhibit inferences about their personal characteristics. However, we also show that in response a firm could change its modeling of users to make cloaking more difficult.

연구 동기 및 목표

• 사용자가 자신의 소셜미디어 데이터에서 유도된 추론에 대해 의미 있는 통제력을 확보할 수 있는지 조사하는 것.
• 예측에 필요한 최소한의 증거를 규명함으로써 데이터 기반 추론의 투명성 가능성을 평가하는 것.
• 사용자가 라이크의 소수의 부분만 코킹함으로써 추론을 억제할 수 있는지 평가하는 것.
• 모델링 접근 방식의 변화(예: 나이브 베이즈 대비 로지스틱 회귀)가 코킹 난이도에 어떤 영향을 미치는지 검토하는 것.
• 이러한 통제 메커니즘이 온라인 타겟팅 시스템에서의 프라이버시, 공정성, 사용자 자율성에 미치는 영향을 탐색하는 것.

제안 방법

• 이 방법은 특정 사용자의 개인적 특성에 대한 추론을 내리기 위해 모델이 사용하는 입력 특성(라이크) 중 어떤 것이 제거되면 추론가능성이 없어지는지를 분석하기 위해 증거 반사적 증거(evidence counterfactuals)를 사용한다.
• 이를 위해 각 라이크를 이진 특성으로 간주하고 해당 계수를 부여한 선형 모델을 적용하며, 모델 점수는 이러한 가중치가 부여된 특성들의 합으로 구성된다.
• 코킹은 영향력이 가장 큰 라이크부터 순서대로 제거하는 방식으로 시뮬레이션되며, 이는 예측 점수에 가장 큰 영향을 미치는 라이크부터 제거하는 방식이다.
• 코킹 난이도를 비교하기 위해 로지스틱 회귀(LR), 100개의 SVD 성분을 적용한 로지스틱 회귀(LRSVD), 나이브 베이즈(NB) 등 여러 모델을 사용하여 테스트한다.
• 연구는 코신스키 등(2013)의 실제 Facebook 데이터를 활용하여 성적 지향, 성별, 종교적 신념 등의 특성을 예측하는 모델을 훈련시켰다.
• '코킹 가능성(cloakability)'은 사용자가 예측 점수를 임계값 이하로 낮추기 위해 반드시 코킹해야 하는 라이크의 수로 측정되며, 이는 진정 양성과 가짜 양성의 경우를 구분한다.

실험 결과

연구 질문

• RQ1 사용자가 개인적 특성에 대한 데이터 기반 추론을 성공적으로 억제하기 위해 평균적으로 몇 개의 라이크를 코킹해야 하는가?
• RQ2 정확한 추론를 내린 경우와 잘못된 추론를 내린 경우의 코킹 난이도는 어떻게 다를까?
• RQ3 다양한 기계학습 모델(예: LR, NB)이 추론 코킹에 필요한 노력에 어떤 영향을 미치는가?
• RQ4 기업이 코킹 난이도를 높이기 위해 모델링 전략을 변경함으로써 사용자 통제를 무력화할 수 있는가?
• RQ5 통계적 추론 시스템에서 모델 성능과 코킹 저항성 간의 상충 관계는 어떠한가?

주요 결과

• 로지스틱 회귀 또는 LRSVD 모델을 사용할 경우, 평균적으로 사용자는 단지 5.5개의 라이크만 코킹하면 추론을 억제할 수 있어, 효과적인 코킹에 매우 낮은 노력이 요구됨을 시사한다.
• 가짜 양성 사용자(실제로 특성이 없음에도 불구하고 특성이 있다고 잘못 추론된 경우)의 경우 진정 양성 사용자보다 코킹이 훨씬 쉽고, 통계적으로 유의미한 차이(p < 0.05)를 보였다.
• 나이브 베이즈 모델은 코킹 난이도를 크게 증가시키며, 평균적으로 추론을 억제하기 위해 50.6개의 라이크를 코킹해야 하는 반면, LR 및 LRSVD 모델의 경우 5.5개에 불과하다.
• 나이브 베이즈 모델에서 난이도가 증가하는 이유는 라이크를 조건부 독립으로 간주하기 때문에 상관관계가 있는 라이크가 중복으로 영향을 미치며, 이로 인해 그 영향력이 증폭되기 때문이다.
• 기업은 사용자 데이터를 제한하지 않고도 나이브 베이즈와 같은 특성 상관관계를 활용하는 모델로 전환하기만 하면 코킹 난이도를 높일 수 있다.
• 결과적으로 현재의 모델들은 사용자가 최소한의 노력으로 의미 있는 통제력을 확보할 수 있도록 하지만, 기업이 모델링 전략을 변경함으로써 이 통제력을 약화시킬 수 있음을 시사한다.