[論文レビュー] Towards Automatic Comparison of Data Privacy Documents: A Preliminary Experiment on GDPR-like Laws

Kornraphop Kawintiranon, Yaguang Liu|arXiv (Cornell University)|May 21, 2021

Topic Modeling参考文献 13被引用数 5

ひとこと要約

本稿では、BERT埋め込みとコサイン類似度を用いて文書類似度を測定することで、GDPRに類似するデータプライバシー法を自動的に比較するNLPベースの手法を提案する。BERTはTF-IDFや単語埋め込みよりも優れた性能を示し、GDPRとブラジルのLGPD間の類似する規定や条文を同定する際、条文レベルで70%、条項レベルで70%の正確さを達成した。本研究では、今後の研究を支援するため、公開されたデータとコードを提供している。

ABSTRACT

General Data Protection Regulation (GDPR) becomes a standard law for data protection in many countries. Currently, twelve countries adopt the regulation and establish their GDPR-like regulation. However, to evaluate the differences and similarities of these GDPR-like regulations is time-consuming and needs a lot of manual effort from legal experts. Moreover, GDPR-like regulations from different countries are written in their languages leading to a more difficult task since legal experts who know both languages are essential. In this paper, we investigate a simple natural language processing (NLP) approach to tackle the problem. We first extract chunks of information from GDPR-like documents and form structured data from natural language. Next, we use NLP methods to compare documents to measure their similarity. Finally, we manually label a small set of data to evaluate our approach. The empirical result shows that the BERT model with cosine similarity outperforms other baselines. Our data and code are publicly available.

研究の動機と目的

• 国ごとのGDPRに類似するデータプライバシー法を比較する作業が時間と専門知識を要するという問題に対処すること。
• 異なる言語で書かれた法的文書間の類似度を測る、自動化されたNLP駆動のアプローチを開発すること。
• 特にBERTを含むさまざまなNLPモデルが、データプライバシー規制の文脈における法的文書類似度タスクにおいて、どの程度の性能を示すかを評価すること。
• 今後の研究を支援するため、構造化されたデータセットとコードベースを公開すること。

提案手法

• GDPRおよびLGPDの法的コンテンツを、条項、条文、節、章といった構造的単位に分解した。
• 事前学習済みのBERT、TF-IDF、単語埋め込み（GloVe）、およびシamese BERTモデルを用いて、自然言語テキストをベクトル表現に変換した。
• 法的テキストペアの埋め込み表現間のコサイン類似度を計算することで、文書類似度を算出した。
• 10の法的トピックにまたがる10組の条文ペアについて、手動でラベル付けを行い、小さなゴールドスタンダード評価データセットを作成した。
• 条文レベルおよび条項レベルの両方で、HIT@1（上位1位の正確さ）を用いてモデルの性能を評価した。
• 再現可能性および今後の研究を目的として、アノテート済みデータセットとコードを https://github.com/kornosk/GDPR-similarity-comparison で公開した。

実験結果

リサーチクエスチョン

• RQ1 NLP技術は、異なる国に由来するGDPRに類似するデータプライバシー法の意味的類似度を効果的に測定できるか？
• RQ2 TF-IDF や単語埋め込みといった従来の手法と比較して、BERT などの事前学習済み言語モデルは、法的文書類似度タスクにおいてどの程度優れているか？
• RQ3 法的テキストにおいて、短い条項と長い条文の間で、類似度モデルの性能に差異は生じるか？
• RQ4 BERTベースのモデルは、英語とポルトガル語といった異なる言語で書かれた法的文書に対して、どの程度一般化できるか？

主な発見

• BERTは、条項レベルと条文レベルの両方で70%の最高正確さを達成し、TF-IDF（60%および50%）および単語埋め込み（20%および50%）を上回った。
• シamese BERTは、一般テキストペアで学習されたため、共通の法的用語（例：「must」や「should」）に過剰適合し、性能が低かったと推測される。
• TF-IDFは、先行研究と整合する中程度の性能を示したが、ディープラーニングベースのモデルに劣っていた。
• 結果から、BERTの法的言語に対する文脈的理解が、非文脈的埋め込みや頻度ベースの手法に比べて顕著な優位性を示すことが示された。
• 条文レベルでの性能がより安定的かつ一貫的であったことから、より長いテキストではモデルが意味的意味をよりよく捉えることができると示唆された。
• 本研究は、微調整をドメイン固有のコンテンツで行った場合、事前学習トランスフォーマーモデル（例：BERT）が法的文書類似度タスクに適していることを確認した。