[論文レビュー] Polisis: Automated Analysis and Presentation of Privacy Policies Using Deep Learning

Hamza Harkous, Kassem Fawaz+4 more|arXiv (Cornell University)|Feb 7, 2018

Privacy-Preserving Technologies in Data被引用数 174

ひとこと要約

Polisis は 130K ポリシーを用いて階層的マルチラベル CNN 分類器を訓練し、構造化クエリと自由形式の QA システム PriBot を可能にするプライバシーポリシー分析フレームワークを導入し、アイコン精度と QA 精度の向上を達成します。

ABSTRACT

Privacy policies are the primary channel through which companies inform users about their data collection and sharing practices. These policies are often long and difficult to comprehend. Short notices based on information extracted from privacy policies have been shown to be useful but face a significant scalability hurdle, given the number of policies and their evolution over time. Companies, users, researchers, and regulators still lack usable and scalable tools to cope with the breadth and depth of privacy policies. To address these hurdles, we propose an automated framework for privacy policy analysis (Polisis). It enables scalable, dynamic, and multi-dimensional queries on natural language privacy policies. At the core of Polisis is a privacy-centric language model, built with 130K privacy policies, and a novel hierarchy of neural-network classifiers that accounts for both high-level aspects and fine-grained details of privacy practices. We demonstrate Polisis' modularity and utility with two applications supporting structured and free-form querying. The structured querying application is the automated assignment of privacy icons from privacy policies. With Polisis, we can achieve an accuracy of 88.4% on this task. The second application, PriBot, is the first freeform question-answering system for privacy policies. We show that PriBot can produce a correct answer among its top-3 results for 82% of the test questions. Using an MTurk user study with 700 participants, we show that at least one of PriBot's top-3 answers is relevant to users for 89% of the test questions.

研究の動機と目的

• プライバシーポリシーの細粒度の注釈付けを自動化し、スケーラブルで多次元のクエリを可能にする。
• プライバシー特化言語モデルとニューラル分類器を活用して、セグメントを高レベルおよび細粒度のプライバシークラスへマッピングする。
• 構造化クエリ（プライバシーアイコン）および自由形式 QA（PriBot）の応用を実証する。
• 専門家の注釈およびユーザ研究に対する精度を評価する。
• ポリシーの概要、QA、およびプライバシーラベルインターフェースを示す公開アクセス可能なウェブサービスを提供する。

提案手法

• 130K のプライバシーポリシーから subword 情報を用いた fastText で CorPus ベースのプライバシー特化語彙表現（Policies Embeddings）を作成する。
• ポリシーセグメントごとに 10 の高レベルカテゴリと 122 の細粒度属性値を予測する階層的マルチラベル CNN 分類器を訓練する。
• HTML ベースのセグメンテーションとドメイン固有の埋め込みを用いて、意味的に整合した断片にポリシーを分割する。
• カテゴリレベルと属性レベルを監視するために OPP-115 データセットを用いてポリシーに注釈を付ける。
• セグメントと予測クラスに対して構造化（述語ベース）および自由形式（自然言語）のクエリを可能にするアプリケーション層を実装する。
• 実世界の質問と MTurk ユーザーに対して評価された、ユーザーの質問に対して関連するポリシーセグメントをランク付けして返す QA システム PriBot を開発する。

実験結果

リサーチクエスチョン

• RQ1 Polisis はポリシー・セグメントに対して高レベルのプライバシーカテゴリと細粒度属性を正確に割り当てられるか。
• RQ2 Polisis はポリシー上で構造化クエリ（例: プライバシーアイコン）をどれだけ効果的にサポートできるか。
• RQ3 PriBot はプライバシー実践に関する自由形式のユーザー質問に対して関連する回答を提供できるか。
• RQ4 大規模なポリシーのコーパスに対して、システムはスケーラブルで堅牢か。
• RQ5 自動化されたアイコン割り当ては専門家の注釈および既存の認証スキームとどう比較されるか。

主な発見

• 自動化されたプライバシーアイコンの割り当ては、専門家の注釈と比較してアイコン全体で平均精度 88.4% を達成。
• カテゴリレベルのクエリは高い精度とリコールを示し、マクロ平均精度 0.87、リコール 0.83、F1 0.84、トップ1 精度 0.84。
• PriBot はテスト質問のうち上位3件の回答の少なくとも1件を正解として返し、トップ1 回答としては 68%。
• 700 名の MTurk 参加者を対象とした消費者研究で PriBot のトップ3回答は 89% の質問に対して適切であった。
• アイコン予測の表形式評価はアイコンタイプ別に異なる精度を示し（例: Automated Use 92% 精度、Data Retention 80%、Children Privacy 98%）。
• Polisis は従来の手動ラベリングと比較して、ポリシー注釈実務とアイコン割り当ての自動監査を可能にすることでスケーラビリティを示す。