[論文レビュー] NLP-based Automated Compliance Checking of Data Processing Agreements against GDPR

Orlando Amaral, Muhammad Ilyas Azeem+2 more|arXiv (Cornell University)|Sep 20, 2022

Digitalization, Law, and Regulation被引用数 7

ひとこと要約

本稿では、GDPRの「～すべき」要件を意味フレームとしてモデル化し、それらをDPAテキストと比較することで、GDPRに準拠しているかどうかをチェックするNLPベースの自動手法を提案する。この手法は、30件の実際のDPAに対して84.6％の正確性、89.1％の精度、82.4％の再現率を達成し、オフザシェルNLPベースラインより約20ポイント高い正確性を示した。

ABSTRACT

Processing personal data is regulated in Europe by the General Data Protection Regulation (GDPR) through data processing agreements (DPAs). Checking the compliance of DPAs contributes to the compliance verification of software systems as DPAs are an important source of requirements for software development involving the processing of personal data. However, manually checking whether a given DPA complies with GDPR is challenging as it requires significant time and effort for understanding and identifying DPA-relevant compliance requirements in GDPR and then verifying these requirements in the DPA. In this paper, we propose an automated solution to check the compliance of a given DPA against GDPR. In close interaction with legal experts, we first built two artifacts: (i) the "shall" requirements extracted from the GDPR provisions relevant to DPA compliance and (ii) a glossary table defining the legal concepts in the requirements. Then, we developed an automated solution that leverages natural language processing (NLP) technologies to check the compliance of a given DPA against these "shall" requirements. Specifically, our approach automatically generates phrasal-level representations for the textual content of the DPA and compares it against predefined representations of the "shall" requirements. Over a dataset of 30 actual DPAs, the approach correctly finds 618 out of 750 genuine violations while raising 76 false violations, and further correctly identifies 524 satisfied requirements. The approach has thus an average precision of 89.1%, a recall of 82.4%, and an accuracy of 84.6%. Compared to a baseline that relies on off-the-shelf NLP tools, our approach provides an average accuracy gain of ~20 percentage points. The accuracy of our approach can be improved to ~94% with limited manual verification effort.

研究の動機と目的

• 法的テキストの複雑さのため、DPAのGDPR準拠性を手作業で確認することは時間のかかる作業であり、誤りが生じやすいという課題に対処する。
• DPAの準拠性チェックを自動化することで、法務およびソフトウェア工学チームの負担を軽減する。
• 自動分析を通じて、DPAに欠落している準拠要件について、実行可能な推奨事項を提供する。
• GDPRやDPAにとどまらず、他の規制や文書タイプに対しても再利用可能な準拠性チェック手法を確立する。
• 法的要件とソフトウェア要件工学の間のギャップを埋めるために、GDPRの義務を機械処理可能な形で形式化する。

提案手法

• 法的専門家との協働を通じて、DPA準拠性に関連するGDPR規定から「～すべき」要件を抽出する。
• 準拠要件における用語の曖昧さを解消するための法的概念の用語集を構築する。
• 各「～すべき」要件の構造を捉えるために、意味フレーム（SF）を定義する。これには、述語-目的語関係を含む。
• NLP技術を用いて、DPAのテキストコンテンツから自動的にSFベースの表現を生成する。
• 類似度のしきい値を用いて、DPAの表現を事前に定義されたGDPR要件表現と比較する。
• 準拠している・していないの条項を特定し、欠落しているまたは不十分に規定された義務についての推奨事項を提供する。

実験結果

リサーチクエスチョン

• RQ1 NLPベースのアプローチは、実世界のDPAにおいて、GDPR要件に違反しているかどうかを正確に検出できるか？
• RQ2 本手法は、オフザシェルNLPパイプラインと比較して、性能に優れているか？
• RQ3 本手法は、GDPRやDPAにとどまらず、他の規制や文書タイプに対してもどの程度一般化可能か？
• RQ4 限定的な手作業による検証が、自動準拠性チェックシステムの正確性を著しく向上させられるか？
• RQ5 意味フレームを用いた法的要件のモデル化は、自動準拠性評価においてどの程度有効か？

主な発見

• 提案手法は、30件の実際のDPAから成るデータセットにおいて、平均84.6％の正確性を達成した。750件の真正の違反のうち618件が正しく同定された。
• 本手法は、89.1％の精度と82.4％の再現率を示し、偽陽性を最小限に抑えつつ、大多数の実際の違反を捉えていることが示された。
• オフザシェルNLPツールを用いたベースラインと比較して、正確性で平均約20ポイントの向上を示した。
• DPA文の小さなサブセットについて限定的な手作業による検証を実施した結果、手法の正確性は約94％まで向上した。
• 本手法は、524件の要件が満たされていることを正しく同定し、準拠している条項を正しく特定できる能力を示した。
• 本手法は、他の規制や文書タイプに対しても一般化可能であり、要件の抽出、意味フレームの定義、データセットの整備、自動化の開発を含むスケーラブルな手法を提供する。