[論文レビュー] Crawling Twitter data through API: A technical/legal perspective

Shahab Saquib Sohail, Mohammad Muzammil Khan+5 more|arXiv (Cornell University)|May 22, 2021

Privacy, Security, and Data Protection参考文献 31被引用数 4

ひとこと要約

この論文は、ユーザーのプライバシーを損なわず、個人向けのレコメンデーションを可能にするために、Twitter API データのクローリングと利用を可能にするプライバシー保護フレームワークを提案する。個人を特定できる情報（PII）を個別のユーザー コードに置き換えることで匿名化し、感情認識計算を用いてデータを分類することで、第三者サービスが識別不能な集計データのみにアクセスできるようにする。これにより、効果的なレコメンデーションシステムと強固なデータ保護の両立が実現され、8日間で3000万件のツイートをクロールした実証実験によって検証された。

ABSTRACT

The popularity of the online media-driven social network relation is proven in today's digital era. The many challenges that these emergence has created include a huge growing network of social relations, and the large amount of data which is continuously been generated via the different platform of social networking sites, viz. Facebook, Twitter, LinkedIn, Instagram, etc. These data are Personally Identifiable Information (PII) of the users which are also publicly available for some platform, and others allow with some restricted permission to download it for research purposes. The users' accessible data help in providing with better recommendation services to users, however, the PII can be used to embezzle the users and cause severe detriment to them. Hence, it is crucial to maintain the users' privacy while providing their PII accessible for various services. Therefore, it is a burning issue to come up with an approach that can help the users in getting better recommendation services without their privacy being harmed. In this paper, a framework is suggested for the same. Further, how data through Twitter API can be crawled and used has been extensively discussed. In addition to this, various security and legal perspectives regarding PII while crawling the data is highlighted. We believe the presented approach in this paper can serve as a benchmark for future research in the field of data privacy.

研究の動機と目的

• ソーシャルメディアのデータにおいて、効果的なレコメンデーションシステムを実現すると同時に、ユーザーのプライバシーを保護するという二重の課題に取り組むこと。
• ユーザーの PII を尊重する責任ある Twitter API データクローリングのための技術的・法的フレームワークを確立すること。
• 研究およびサービスにおけるデータの有用性と厳格なプライバシー保護措置の両立を図るモデルを提案すること。
• 今後のプライバシー配慮型レコメンデーションシステム研究のためのベンチマークを提供すること。

提案手法

• 公開可能なユーザーのコンテンツに焦点を当て、8日間で3000万件のツイートを収集するために、Search API を用いた Twitter データのクローリング。
• 各ユーザーに固有のコードを割り当てることで、ユーザーのデータを匿名化し、直接識別子を置き換えつつもデータの有用性を保持する。
• 感情認識計算技術を用いて、ユーザーのデータを（例：電子商取引、旅行、ソーシャル好みなど）分類する。
• アプリケーション固有のニーズに基づき、分類済みで識別不能なデータのみを第三者サービスがアクセス可能にする。
• 匿名化されたコードを元のユーザーに再マッピングすることで、ユーザーにレコメンデーションを返すことで、エンドツーエンドのプライバシーを確保する。
• 透明性、ユーザーの同意、データ削除権、違反通知プロトコルなどの法的保護措置を統合する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのプライバシーを侵害せずに、Twitter API データをどのように収集・利用してレコメンデーションシステムを構築できるか？
• RQ2 PII を匿名化する技術的メカニズムは何か？ ただし、パーソナライズドサービスに必要なデータの有用性を保持する必要がある。
• RQ3 ソーシャルメディア研究における責任あるデータアクセスおよび利用を確保するための、法的・倫理的なガイドラインは何か？
• RQ4 悪意あるユーザーの検出と、正当なユーザーのプライバシー保護の両立は、どのように達成できるか？
• RQ5 プライバシー配慮型のデータクローリングおよびレコメンデーションシステムのためのフレームワークは何か？

主な発見

• 本フレームワークは、直接的なユーザー識別情報を露呈させることなく、匿名化された Twitter データを用いたレコメンデーションサービスの実現に成功した。
• 8日間の期間で、Twitter Search API を用いて合計3000万件のツイートが収集され、大規模なデータクローリングの実現可能性が裏付けられた。
• ユーザー固有のコードによる匿名化により、データ分類と第三者へのアクセスが可能になったが、外部システムに PII が露出することはなかった。
• 感情認識計算の統合により、公開ツイートから行動的特徴や好みを抽出し、ターゲティングレコメンデーションの目的に活用できるようになった。
• 透明性、同意、データ削除権、違反通知などの法的保護措置が、システムの不可欠な構成要素として明確に提言された。
• 提案されたモデルは、ユーザーのプライバシーもデータの有用性も損なわず、正当なユーザーと悪意あるユーザーを区別するバランスの取れたアプローチを提供した。