[논문 리뷰] NLP-based Automated Compliance Checking of Data Processing Agreements against GDPR

Orlando Amaral, Muhammad Ilyas Azeem외 2명|arXiv (Cornell University)|2022. 09. 20.

Digitalization, Law, and Regulation인용 수 7

한 줄 요약

이 논문은 NLP 기반의 자동화된 방법을 제안하여 데이터 처리 계약(DPA)이 GDPR에 부합하는지 검사한다. GDPR의 'shall' 요구사항을 의미 프레임으로 모델링하고 이를 DPA 텍스트와 비교한다. 이 방법은 30개의 실제 DPA에서 84.6%의 정확도, 89.1%의 정밀도, 82.4%의 재현율을 달성하여, 오프더쉐프 NLP 기반 기준보다 약 20个百分点 높은 정확도를 기록한다.

ABSTRACT

Processing personal data is regulated in Europe by the General Data Protection Regulation (GDPR) through data processing agreements (DPAs). Checking the compliance of DPAs contributes to the compliance verification of software systems as DPAs are an important source of requirements for software development involving the processing of personal data. However, manually checking whether a given DPA complies with GDPR is challenging as it requires significant time and effort for understanding and identifying DPA-relevant compliance requirements in GDPR and then verifying these requirements in the DPA. In this paper, we propose an automated solution to check the compliance of a given DPA against GDPR. In close interaction with legal experts, we first built two artifacts: (i) the "shall" requirements extracted from the GDPR provisions relevant to DPA compliance and (ii) a glossary table defining the legal concepts in the requirements. Then, we developed an automated solution that leverages natural language processing (NLP) technologies to check the compliance of a given DPA against these "shall" requirements. Specifically, our approach automatically generates phrasal-level representations for the textual content of the DPA and compares it against predefined representations of the "shall" requirements. Over a dataset of 30 actual DPAs, the approach correctly finds 618 out of 750 genuine violations while raising 76 false violations, and further correctly identifies 524 satisfied requirements. The approach has thus an average precision of 89.1%, a recall of 82.4%, and an accuracy of 84.6%. Compared to a baseline that relies on off-the-shelf NLP tools, our approach provides an average accuracy gain of ~20 percentage points. The accuracy of our approach can be improved to ~94% with limited manual verification effort.

연구 동기 및 목표

• 법적 텍스트의 복잡성으로 인해 수작업으로 DPA의 GDPR 준수 여부를 검토하는 데 오랜 시간이 소요되고 오류가 발생하는 문제를 해결하기 위해.
• DPA 준수 검사를 자동화하여 법무 및 소프트웨어 엔지니어링 팀의 부담을 줄이기 위해.
• 자동화된 분석을 통해 누락된 준수 요구사항에 대한 실행 가능한 권고를 제공하기 위해.
• GDPR 및 DPA를 초월해 재사용 가능한 규정 준수 검사 방법론을 구축하기 위해.
• 법적 요구사항과 소프트웨어 요구사항 엔지니어링 사이의 격차를 해소하기 위해, GDPR 의무를 기계가 처리할 수 있는 형태로 정형화하기 위해.

제안 방법

• 법률 전문가와의 협업을 통해 DPA 준수와 관련된 GDPR 조항에서 'shall' 요구사항을 추출한다.
• 준수 요구사항의 용어 해석을 명확히 하기 위해 법적 개념의 어휘집을 구축한다.
• 각 'shall' 요구사항의 구조를 표현하기 위해 의미 프레임(SF)을 정의하며, 술어-논항 관계를 포괄한다.
• NLP 기법을 사용하여 DPA 텍스트 내용으로부터 자동으로 SF 기반 표현을 생성한다.
• 유사도 임계값을 사용하여 DPA 표현을 사전에 정의된 GDPR 요구사항 표현과 비교한다.
• 준수 및 비준수 조항을 식별하고, 누락되거나 충분히 명시되지 않은 의무 사항에 대한 권고를 제공한다.

실험 결과

연구 질문

• RQ1 NLP 기반 접근법이 실제 DPA에서 GDPR 요구사항에 대한 위반 여부를 정확하게 탐지할 수 있는가?
• RQ2 제안된 방법은 준수 검사에 있어 오프더쉐프 NLP 파ip라인과 비교해 성능에서 어떻게 뛰어나게 되는가?
• RQ3 이 방법은 GDPR 및 DPA를 초월해 다른 규정과 문서 유형으로 일반화될 수 있는가?
• RQ4 제한된 수준의 수작업 검증이 자동 준수 검사 시스템의 정확도를 상당히 향상시킬 수 있는가?
• RQ5 의미 프레임의 사용이 자동 준수 평가를 위한 법적 요구사항 모델링에 얼마나 효과적인가?

주요 결과

• 제안된 방법은 30개의 실제 DPA로 구성된 데이터셋에서 평균 84.6%의 정확도를 달성했으며, 750개의 진짜 위반 중 618개를 올바르게 식별했다.
• 이 방법은 89.1%의 정밀도와 82.4%의 재현율을 보였으며, 거짓 경고를 최소화하면서 대부분의 실제 위반을 포착하는 데 강력한 성능을 보였다.
• 오프더쉐프 NLP 도구를 사용한 기준 기반 방법과 비교해 평균 약 20 포인트 높은 정확도를 기록했다.
• DPA 문장의 소규모 서브셋에 대해 제한된 수작업 검증을 수행한 결과, 정확도가 약 94%로 향상되었다.
• 524개의 요구사항이 충족된 것으로 성공적으로 식별되어, 준수된 조항을 정확히 표시할 수 있는 능력을 입증했다.
• 이 방법은 다른 규정과 문서 유형으로도 일반화 가능하며, 요구사항 도출, 의미 프레임 정의, 데이터셋 정제, 자동화 개발을 포함한 확장 가능한 방법론을 제공한다.