[論文レビュー] Analyzing Privacy Policies Using Contextual Integrity Annotations

Yan Shvartzshnaider, Noah Apthorpe+2 more|arXiv (Cornell University)|Sep 6, 2018

Privacy, Security, and Data Protection参考文献 23被引用数 8

ひとこと要約

本論文では、コンテキスト的整合性（CI）フレームワークを用いてプライバシーポリシーのアノテーションと分析を行うことを提案し、FacebookのGDPR適用前後におけるポリシーを事例に、その有効性を示している。クラウドソーシングを用いることで、0.9の語基準精度を達成する高精度なCIアノテーションが可能となり、情報フローの分析をスケーラブルかつ厳密に行えるようになる。これにより、曖昧さ、欠落パラメータ、パラメータの過剰化といった問題を検出できる。

ABSTRACT

In this paper, we demonstrate the effectiveness of using the theory of contextual integrity (CI) to annotate and evaluate privacy policy statements. We perform a case study using CI annotations to compare Facebook's privacy policy before and after the Cambridge Analytica scandal. The updated Facebook privacy policy provides additional details about what information is being transferred, from whom, by whom, to whom, and under what conditions. However, some privacy statements prescribe an incomprehensibly large number of information flows by including many CI parameters in single statements. Other statements result in incomplete information flows due to the use of vague terms or omitting contextual parameters altogether. We then demonstrate that crowdsourcing can effectively produce CI annotations of privacy policies at scale. We test the CI annotation task on 48 excerpts of privacy policies from 17 companies with 141 crowdworkers. The resulting high precision annotations indicate that crowdsourcing could be used to produce a large corpus of annotated privacy policies for future research.

研究の動機と目的

• GDPRのような規制変更の影響を受ける中で、プライバシーポリシーの明確さと完全性を評価するための体系的で形式的な手法の欠如に応えること。
• コンテキスト的整合性（CI）フレームワークが、プライバシーポリシー内の情報フローを構造的かつ分析可能な形で表現できるかどうかを調査すること。
• クラウドソーシングが、スケールに応じて信頼性が高く、高精度なCIアノテーションをプライバシーポリシーの抜粋に対して得られるかどうかを評価すること。
• 主な規制変更の前後において、曖昧な表現、欠落パラメータ、パラメータの過剰化といった、継続的な問題を同定すること。
• 今後のプライバシーポリシーの透明性に関する研究を可能にするために、アノテート済みコーパスのスケーラブルな生成手法を確立すること。

提案手法

• 情報フローを送信者、受信者、対象、情報タイプ（属性）、送信原則（条件）という5パラメータのタプルとしてモデル化するCIフレームワークを適用する。
• 17社のプライバシーポリシーの抜粋を、CIフレームワークを用いて手作業でアノテートし、主にデータ転送に関する文を対象とする。
• GDPR適用前後のFacebookのプライバシーポリシーを比較する事例研究を実施し、CIアノテーションを用いて情報フロー記述の変化を評価する。
• アマゾン・メカニカル・トゥーカー（AMT）上でクラウドソーシングタスクを設計・展開し、専門家でない人々からのCIアノテーションを収集する。
• 語基準の精度スコアを用いて、クラウドソーシングによるアノテーションと専門家によるアノテーションの真値を比較する。
• 得られた高精度なアノテーションを基に、大規模なプライバシーポリシー分析や将来的な機械学習のトレーニングの基盤を構築する。

実験結果

リサーチクエスチョン

• RQ1 特にGDPR後において、プライバシーポリシーの情報フロー記述の明確さと完全さがどの程度向上しているか。
• RQ2 GDPRのような大規模な規制変更の後、プライバシーポリシー内の情報フローの数や構造はどのように変化するか。
• RQ3 非専門家のクラウドソーシング作業者が、信頼性があり正確なCIアノテーションをプライバシーポリシーの抜粋に対して得られるか。
• RQ4 欠落パラメータ、曖昧な表現、パラメータの過剰化といったタイプのプライバシーポリシー文は、ユーザー理解を妨げる主な要因となるか。
• RQ5 CIフレームワークを用いて、複数のプライバシーポリシー間で不完全・曖昧・過剰に複雑な情報フロー記述を体系的に検出し、比較できるか。

主な発見

• アップデート後のFacebookのプライバシーポリシーは、GDPR適用前のバージョンと比べて、情報フローの数がほぼ2倍に増加しているが、明確さや完全さの向上は見られない。
• GDPR適用前のポリシーでは45%、アップデート後のポリシーでは63%の情報フロー記述が、CIのパラメータの1つ以上を欠落しており、不完全である。
• 両方のポリシー版において50%を超える文が曖昧または曖昧な表現を用いており、ユーザーの理解を損なっている。
• 多くの文が「パラメータの過剰化（parameter bloating）」に見舞われており、同じ種類のパラメータが複数回繰り返されており、認知的負荷を増している。
• クラウドソーシングによるアノテーションは、専門家による真値と比較して、語基準精度スコア0.9を達成し、信頼性と実用性が非常に高いことが示された。
• クラウドソーシングによるアノテーションの高精度は、CIアノテーションが直感的でスケーラブルであることを示しており、今後の研究やツール開発のための大規模コーパス作成を支援する基盤となっている。