[논문 리뷰] Crawling Twitter data through API: A technical/legal perspective

Shahab Saquib Sohail, Mohammad Muzammil Khan외 5명|arXiv (Cornell University)|2021. 05. 22.

Privacy, Security, and Data Protection참고 문헌 31인용 수 4

한 줄 요약

이 논문은 개인 정보를 보호하는 프레임워크를 제안하여 Twitter API 데이터를 크롤링하고 활용함으로써 사용자 프라이버시를 해치지 않으면서도 개인 맞춤 추천을 가능하게 한다. 개인식별정보(PII)를 고유한 사용자 코드로 익명화하고, 정서 컴퓨팅 기법을 통해 데이터를 분류함으로써, 제3자 서비스가 오직 집계된 비식별 데이터만 액세스할 수 있도록 함으로써 효과적인 추천 시스템과 강력한 데이터 보호를 동시에 확보한다. 이는 8일간 3,000만 건의 트윗을 크롤링한 결과를 통해 검증되었다.

ABSTRACT

The popularity of the online media-driven social network relation is proven in today's digital era. The many challenges that these emergence has created include a huge growing network of social relations, and the large amount of data which is continuously been generated via the different platform of social networking sites, viz. Facebook, Twitter, LinkedIn, Instagram, etc. These data are Personally Identifiable Information (PII) of the users which are also publicly available for some platform, and others allow with some restricted permission to download it for research purposes. The users' accessible data help in providing with better recommendation services to users, however, the PII can be used to embezzle the users and cause severe detriment to them. Hence, it is crucial to maintain the users' privacy while providing their PII accessible for various services. Therefore, it is a burning issue to come up with an approach that can help the users in getting better recommendation services without their privacy being harmed. In this paper, a framework is suggested for the same. Further, how data through Twitter API can be crawled and used has been extensively discussed. In addition to this, various security and legal perspectives regarding PII while crawling the data is highlighted. We believe the presented approach in this paper can serve as a benchmark for future research in the field of data privacy.

연구 동기 및 목표

• 소셜 미디어 데이터에서 효과적인 추천 시스템을 구현하면서도 사용자 프라이버시를 보호하는 이중 과제를 해결하기 위해.
• 사용자 PII를 존중하는 책임감 있는 Twitter API 데이터 크롤링을 위한 기술적 및 법적 프레임워크를 수립하기 위해.
• 연구 및 서비스에 유용한 데이터 활용과 철저한 프라이버시 보호 조치 사이의 균형을 이루는 모델을 제안하기 위해.
• 향후 개인정보 인식 추천 시스템 연구를 위한 기준이 되는 벤치마크를 제공하기 위해.

제안 방법

• 공개된 사용자 콘텐츠에 중점을 두고 8일간 Twitter Search API를 사용하여 3,000만 건의 트윗을 수집하는 방식으로 Twitter 데이터를 크롤링한다.
• 각 사용자에게 고유 코드를 할당하여 사용자 데이터를 익명화함으로써 직접 식별자 대체하면서도 데이터 유용성 유지.
• 정서 컴퓨팅 기법을 활용하여 사용자 데이터를 카테고리(예: 전자상거래, 여행, 사회적 선호도 등)로 분류.
• 응용 프로그램의 특정 요구에 따라 분류된 비식별 데이터만 제3자 서비스가 액세스할 수 있도록 허용.
• 익명화된 코드를 원래 사용자로 다시 매핑함으로써 사용자에게 추천 결과를 반환함으로써 엔드 투 엔드 프라이버시 보장.
• 투명성, 사용자 동의, 데이터 삭제 권리, 정보 유출 통보 절차 등의 법적 보호 조치를 통합.

실험 결과

연구 질문

• RQ1 사용자 프라이버시를 침해하지 않으면서도 Twitter API 데이터를 어떻게 수집하고 추천 시스템에 활용할 수 있는가?
• RQ2 개인식별정보(PII)를 익명화하면서도 개인 맞춤 서비스에 필요한 데이터 유용성을 유지할 수 있는 기술적 메커니즘은 무엇인가?
• RQ3 소셜 미디어 연구에서 책임감 있는 데이터 접근 및 사용을 보장하기 위해 필요한 법적 및 윤리적 지침은 무엇인가?
• RQ4 악성 사용자를 탐지하면서도 정상 사용자의 프라이버시를 보호할 수 있는 균형은 어떻게 달성할 수 있는가?
• RQ5 개인정보 인식 데이터 크롤링 및 추천 시스템을 위한 기준이 되는 프레임워크는 무엇인가?

주요 결과

• 이 프레임워크는 직접적인 사용자 신원을 폭 lộ하지 않으면서도 익명화된 Twitter 데이터를 활용한 추천 서비스를 성공적으로 구현한다.
• 8일간 Twitter Search API를 사용하여 총 3,000만 건의 트윗을 수집하여 대규모 데이터 크롤링의 가능성을 입증한다.
• 사용자 고유 코드를 통한 익명화는 데이터 분류 및 제3자 접근을 가능하게 하며, 외부 시스템에 PII가 폭 lộ되지 않음을 보장한다.
• 정서 컴퓨팅의 통합을 통해 공개 트윗에서 행동 특성과 선호도를 추출하여 타겟팅된 추천 목적에 활용할 수 있다.
• 투명성, 동의, 데이터 삭제 권리, 정보 유출 통보 등의 법적 보호 조치가 시스템의 핵심 구성 요소로 공식 제안되었다.
• 제안된 모델은 사용자 프라이버시나 데이터 유용성을 훼손하지 않으면서도 정상 사용자와 악성 사용자를 구분하는 균형 잡힌 접근을 제공한다.