[論文レビュー] LegiLM: A Fine-Tuned Legal Language Model for Data Compliance

Linkai Zhu, Yang Lu+4 more|arXiv (Cornell University)|Sep 9, 2024

Business Process Modeling and Analysis被引用数 4

ひとこと要約

LegiLM は、ガバナンス規則、アノテート済みの契約、プライバシー方針を収集したデータセットを活用して微調整された、GDPR準拠評価に特化したファインチューニング済み法的言語モデルです。一般および法的分野特化型のLLMを凌駕し、法的質問応答および準拠検出において 68.05% の正確性と高品質な根拠提示を達成し、AI駆動型データ準拠ツール分野における新たなベンチマークを確立しました。

ABSTRACT

Ensuring compliance with international data protection standards for privacy and data security is a crucial but complex task, often requiring substantial legal expertise. This paper introduces LegiLM, a novel legal language model specifically tailored for consulting on data or information compliance. LegiLM leverages a pre-trained GDPR Fines dataset and has been fine-tuned to automatically assess whether particular actions or events breach data security and privacy regulations. By incorporating a specialized dataset that includes global data protection laws, meticulously annotated policy documents, and relevant privacy policies, LegiLM is optimized for addressing data compliance challenges. The model integrates advanced legal reasoning methods and information retrieval enhancements to enhance accuracy and reliability in practical legal consulting scenarios. Our evaluation using a custom benchmark dataset demonstrates that LegiLM excels in detecting data regulation breaches, offering sound legal justifications, and recommending necessary compliance modifications, setting a new benchmark for AI-driven legal compliance solutions. Our resources are publicly available at https://github.com/DAOLegalAI/LegiLM

研究の動機と目的

• グローバルなデータ保護規制の複雑化が進む中、特にGDPRのような専門的法的レビューを要する規制準拠を対象とします。
• 法的専門家がデータ共有契約やプライバシーポリシーの規制準拠を評価するために要する手作業と時間を削減することを目的とします。
• 法的推論、情報検索、ファインチューニングされたインstructチューニングを統合したドメイン特化型言語モデルを開発し、正確な準拠評価を実現することを目的とします。
• 公開可能で高精度なツールを提供し、契約およびデータインタラクションイベントにおけるデータ規制違反の自動検出を可能とすることを目的とします。
• GDPRおよびデータセキュリティに焦点を当てた独自の専門的データセットを用いた評価を通じて、データ準拠分野における法的AIのベンチマークを確立することを目的とします。

提案手法

• GDPR規則、判例、実世界のデータ共有契約（詳細なアノテーション付き）を含む包括的でドメイン特化型のデータセットを用いて、ベース言語モデル（SaulLM-7B）をファインチューニングしました。
• 法的推論と準拠根拠提示に焦点を当てたインstructチューニングを実施し、複雑な規制質問への解釈および応答能力を向上させました。
• 推論時に関連する法的規定を取得することで、事実の根拠付けを強化し、幻覚を低減するため、リtrieval-augmented generation（RAG）技術を統合しました。
• 法的コーパスでの事前学習と、準拠関連のインstructデータに対する教師ありファインチューニングを組み合わせたマルチステージのトレーニングパイプラインを適用し、法的質問応答におけるパフォーマンス最適化を図りました。
• 実世界のデータ共有契約およびGDPR準拠ポリシー例を含む、独自のベンチマークデータセットを評価に活用し、実用的妥当性を保証しました。
• 英語法的文脈に最適化されており、データインタラクション行動、プライバシー条項、GDPR下のセキュリティ義務に焦点を当てています。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング済み法的言語モデルは、汎用型および既存の法的LLMと比較して、データ共有契約におけるGDPR準拠違反の検出において優れたパフォーマンスを示せるか？
• RQ2 アノテート済み法的コーパスを用いたドメイン特化型ファインチューニングは、法的推論タスクにおける根拠提示の質と事実の正確性をどの程度向上させるか？
• RQ3 LegiLM は、特にデータ処理活動の法的妥当性を評価する文脈におけるデータ保護関連の法的質問応答タスクで、どの程度のパフォーマンスを示すか？
• RQ4 リトリーブ補強生成とインstructチューニングの統合は、準拠検出の正確性と推論の信頼性にどのような影響を与えるか？
• RQ5 GDPR特化型データでトレーニングされた特化型法的LLMは、プライバシーおよびデータセキュリティ分野における実世界の準拠課題に効果的に一般化できるか？

主な発見

• LegiLM は、法的質問応答のための LegalBench-Instruct ベンチマークで 68.05% の正確性と 68.21 のF1スコアを達成し、GPT-4（42.35% の正確性）や Qwen-1.5-72B（31.41% の正確性）を大きく上回りました。
• LegiLM は高品質な法的根拠提示を示し、説明の質が「高」であると評価され、GPT-4 や Lawyer-LLaMA-13B が「中程度」と評価されたのを上回りました。
• モデルはプライバシーポリシーおよび契約におけるデータ規制違反の検出において優れたパフォーマンスを示し、準拠不履行なデータ処理条項の特定に優れていました。
• GDPR特化型データおよびアノテート済み契約を用いたドメイン特化型ファインチューニングにより、準拠検出の正確性と法的推論の信頼性が明確に向上しました。
• InternLM-Law-7B や DISC-Law-7B といった他の法的特化型モデルと比較して、LegiLM は英語圏のGDPR準拠タスクで優れたパフォーマンスを示し、言語およびドメイン特化の両方が重要であることを示しました。
• モデルのパフォーマンスは、高品質でアノテート済みの法的コーパスに対する的確なファインチューニングが、データ準拠分野における法的AIの最先端の結果を達成するために不可欠であることを示しています。