[논문 리뷰] Link Prediction by De-anonymization: How We Won the Kaggle Social Network Challenge

Arvind Narayanan, Elaine Shi외 1명|arXiv (Cornell University)|2011. 02. 22.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 25

한 줄 요약

이 논문은 IJCNN 2011 소셜 네트워크 챌린지에서 우승한 방법으로, 개인의 Flickr 크롤링 데이터를 활용하여 경쟁 대회에서 익명화된 사용자를 재식별하는 데 기반한 탈익명화 기반 접근법을 제시한다. 시뮬레이티드 어닐링을 사용한 가중치가 부여된 그래프 매칭을 통해 테스트 엣지의 64.7%를 탈익명화하고, 탈익명화된 데이터와 원본 훈련 데이터를 모두 활용해 Random Forest 분류기를 훈련시킴으로써 테스트 AUC 0.981을 달성하였다. 이는 기계 학습 대회에서 탈익명화와 링크 예측을 융합하는 새로운 방법을 보여주며, 대회에서의 성능 향상을 이룩하였다.

ABSTRACT

This paper describes the winning entry to the IJCNN 2011 Social Network Challenge run by Kaggle.com. The goal of the contest was to promote research on real-world link prediction, and the dataset was a graph obtained by crawling the popular Flickr social photo sharing website, with user identities scrubbed. By de-anonymizing much of the competition test set using our own Flickr crawl, we were able to effectively game the competition. Our attack represents a new application of de-anonymization to gaming machine learning contests, suggesting changes in how future competitions should be run. We introduce a new simulated annealing-based weighted graph matching algorithm for the seeding step of de-anonymization. We also show how to combine de-anonymization with link prediction---the latter is required to achieve good performance on the portion of the test set not de-anonymized---for example by training the predictor on the de-anonymized portion of the test set, and combining probabilistic predictions from de-anonymization and link prediction.

연구 동기 및 목표

• 익명화된 소셜 네트워크 데이터의 탈익명화가 기계 학습 대회에서 부당한 이득을 얻는 데 사용될 수 있는가를 조사하는 것.
• 구조적 유사성과 공개 크롤링에서 확보한 보조 데이터를 활용해 부분적인 소셜 네트워크 스냅샷을 탈익명화하는 강력한 방법을 개발하는 것.
• 탈익명화 기법과 표준 링크 예측 기법을 융합할 경우 링크 예측 벤치마크에서 성능 향상이 상당히 이루어질 수 있음을 보여주는 것.
• 익명화된 데이터셋이 실제 대회에서의 취약성을 드러내며, 향후 개인정보 보호 기반 데이터 배포 관행을 개선할 것을 주장하는 것.

제안 방법

• 탈익명화의 시드 식별 단계에서 가중치가 부여된 그래프 매칭 문제를 해결하기 위한 시뮬레이티드 어닐링 기반 알고리즘을 제안하였다.
• 시드 식별 문제를 조합 최적화 문제로 공식화하여, 챌린지 그래프와 개인의 Flickr 크롤링 간의 노드 대응 관계를 모델링하였다.
• 부분적이고 전체적인 네트워크 스냅샷 간에 구조적으로 안정적인 고인-degree 노드를 시드로 사용하였다.
• 탈익명화된 결과와 링크 예측 결과의 확률적 예측을 결합하기 위해 훈련 세트에 탈익명화된 테스트 엣지를 추가하였다.
• 원본 훈련 데이터와 테스트 세트의 탈익명화된 부분을 모두 사용해 표준 링크 예측 특징을 기반으로 Random Forest 분류기를 훈련시켰다.
• 최종 모델은 탈익명화 및 링크 예측 구성 요소의 예측을 통합하여 전체 테스트 세트에서 평가되었다.

실험 결과

연구 질문

• RQ1 동일 플랫폼의 보조 데이터를 활용해 실세계 소셜 네트워크의 부분 크롤링을 효과적으로 탈익명화할 수 있는가?
• RQ2 표준 기계 학습 모델과 융합했을 때 탈익명화가 링크 예측 대회에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ3 입도 분포와 같은 구조적 특징을 활용해 확장 가능하고 정확한 탈익명화 방법을 설계할 수 있는가?
• RQ4 경쟁 환경에서 예측 성능을 극대화하기 위해 탈익명화와 링크 예측을 어떻게 공동 최적화할 수 있는가?
• RQ5 탈익명화의 결과가 공정하고 개인정보 보호 기반 기계 학습 대회 설계에 미치는 영향은 무엇인가?

주요 결과

• 저자들은 자체의 Flickr 크롤링 데이터와 시뮬레이티드 어닐링 기반 그래프 매칭 알고리즘을 사용해 테스트 세트 엣지의 64.7%를 성공적으로 탈익명화하였다.
• 탈익명화와 링크 예측을 융합한 접근법은 테스트 AUC 0.981을 달성하여 카글 소셜 네트워크 챌린지에서 1등을 차지하였다.
• 고인-degree 노드를 시드로 사용함으로써 탈익명화 과정의 정확도와 확장성에 상당한 기여를 하였다.
• 테스트 세트의 탈익명화된 부분을 기반으로 링크 예측기 훈련을 수행함으로써 성능 향상이 뚜렷하게 이루어졌으며, 부분적으로 드러난 데이터의 가치를 입증하였다.
• 결과적으로 현재의 대회 규칙과 익명화 실천 방식이 탈익명화를 통한 게이밍를 방지하는 데 부적절하다는 것이 드러났다.
• 본 연구는 향후 데이터 배포 시 더 강력한 개인정보 보호 메커니즘, 예를 들어 차별적 프라이버시를 도입할 필요성이 있음을 강조한다.