[논문 리뷰] Towards Automatic Comparison of Data Privacy Documents: A Preliminary Experiment on GDPR-like Laws

Kornraphop Kawintiranon, Yaguang Liu|arXiv (Cornell University)|2021. 05. 21.

Topic Modeling참고 문헌 13인용 수 5

한 줄 요약

이 논문은 BERT 임bedding과 코사인 유사도를 사용하여 문서 유사도를 측정함으로써, GDPR 유사 데이터 개인정보 보호법을 자동으로 비교하는 NLP 기반 접근법을 제안한다. BERT는 GDPR과 브라질의 LGPD 간 유사한 규정과 조항을 식별하는 데에서 TF-IDF와 단어 임베딩보다 뛰어난 성능을 보이며, 규정 수준에서 70%의 정확도와 조항 수준에서 70%의 정확도를 달성한다. 연구를 위한 추가 분석을 위해 공개된 데이터와 코드를 제공한다.

ABSTRACT

General Data Protection Regulation (GDPR) becomes a standard law for data protection in many countries. Currently, twelve countries adopt the regulation and establish their GDPR-like regulation. However, to evaluate the differences and similarities of these GDPR-like regulations is time-consuming and needs a lot of manual effort from legal experts. Moreover, GDPR-like regulations from different countries are written in their languages leading to a more difficult task since legal experts who know both languages are essential. In this paper, we investigate a simple natural language processing (NLP) approach to tackle the problem. We first extract chunks of information from GDPR-like documents and form structured data from natural language. Next, we use NLP methods to compare documents to measure their similarity. Finally, we manually label a small set of data to evaluate our approach. The empirical result shows that the BERT model with cosine similarity outperforms other baselines. Our data and code are publicly available.

연구 동기 및 목표

• 다른 국가의 GDPR 유사 데이터 개인정보 보호법을 비교하는 데 시간과 전문가의 참여가 필요한 작업을 해결하기 위해.
• 다른 언어로 작성된 법적 문서 간의 유사도를 측정하기 위한 자동화된, NLP 기반 접근법을 개발하기 위해.
• 특히 BERT를 포함한 다양한 NLP 모델이 데이터 개인정보 보호 규정의 맥락에서 법적 문서 유사도 작업에서 어떻게 성능을 발휘하는지 평가하기 위해.
• 향후 연구를 지원하기 위해 구조화된 데이터셋과 코드베이스를 공개하기 위해.

제안 방법

• GDPR와 LGPD의 법적 내용을 규정, 조항, 단원, 장 등 구조화된 단위로 추출하였다.
• 사전 훈련된 BERT, TF-IDF, 단어 임베딩(GloVe), 그리고 시AMESE BERT 모델을 사용하여 자연어 텍스트를 벡터 표현으로 변환하였다.
• 법적 텍스트 쌍의 임베딩 표현 간 코사인 유사도를 계산하여 문서 유사도를 측정하였다.
• 10개의 법적 주제에 걸쳐 10개의 조항 쌍을 수작업으로 레이블링하여 소규모 골드 표준 평가 세트를 구축하였다.
• 레벨별로 규정 및 조항 수준에서 HIT@1(상위 1위 정확도)을 사용하여 모델 성능을 평가하였다.
• 재현성과 향후 연구를 위해 데이터셋과 코드를 https://github.com/kornosk/GDPR-similarity-comparison 에 공개하였다.

실험 결과

연구 질문

• RQ1 NLP 기법은 다른 국가의 GDPR 유사 데이터 개인정보 보호법 간의 의미적 유사도를 효과적으로 측정할 수 있는가?
• RQ2 TF-IDF와 단어 임베딩과 같은 전통적 방법에 비해 BERT와 같은 사전 훈련된 언어 모델은 법적 문서 유사도 작업에서 어떻게 성능을 발휘하는가?
• RQ3 법적 텍스트에서 짧은 규정과 긴 조항 간에 유사도 모델의 성능이 어떻게 다를까?
• RQ4 BERT 기반 모델은 영어와 포르투갈어로 작성된 법적 문서 간에 얼마나 잘 일반화되는가?

주요 결과

• BERT는 규정 수준과 조항 수준에서 각각 70%의 정확도를 기록하여 TF-IDF(60% 및 50%)와 단어 임베딩(20% 및 50%)를 앞서는 최고의 성능을 보였다.
• 시AMESE BERT는 일반 텍스트 쌍으로 훈련된 데서 기인해 'must'와 'should'와 같은 일반적인 법적 용어에 과적합되어 성능이 떨어졌다.
• TF-IDF는 이전 문헌과 일관되게 중간 수준의 성능을 보였지만, 딥러닝 기반 모델에 비해 열등한 성능을 보였다.
• 결과는 BERT가 법적 언어의 맥락적 이해를 제공함으로써 비맥락적 임베딩과 빈도 기반 방법에 비해 뚜렷한 이점을 가짐을 시사한다.
• 성능이 조항 수준에서 더 안정적이고 일관성 있게 나타났으며, 이는 더 긴 텍스트가 모델이 의미를 더 잘 포착할 수 있도록 해준다는 것을 시사한다.
• 연구는 사전 훈련된 트랜스포머 모델인 BERT가 도메인 특화 콘텐츠에 맞게 미세조정될 경우 법적 문서 유사도 작업에 매우 적합하다는 것을 확인한다.