[논문 리뷰] LegiLM: A Fine-Tuned Legal Language Model for Data Compliance

Linkai Zhu, Yang Lu외 4명|arXiv (Cornell University)|2024. 09. 09.

Business Process Modeling and Analysis인용 수 4

한 줄 요약

LegiLM는 GDPR 준수 평가를 위해 특화된 피인계된 법적 언어 모델로, 정제된 데이터셋( GDPR 규정, 애너테이션 처리된 계약서 및 개인정보 정책 포함)을 활용한다. 일반 및 법적 전용 LLM보다 법적 질문 응답 및 준수 감지에서 뛰어난 성능을 보이며, 정확도 68.05%와 고품질의 설명을 달성하여 AI 기반 데이터 준수 도구의 새로운 기준을 설정한다.

ABSTRACT

Ensuring compliance with international data protection standards for privacy and data security is a crucial but complex task, often requiring substantial legal expertise. This paper introduces LegiLM, a novel legal language model specifically tailored for consulting on data or information compliance. LegiLM leverages a pre-trained GDPR Fines dataset and has been fine-tuned to automatically assess whether particular actions or events breach data security and privacy regulations. By incorporating a specialized dataset that includes global data protection laws, meticulously annotated policy documents, and relevant privacy policies, LegiLM is optimized for addressing data compliance challenges. The model integrates advanced legal reasoning methods and information retrieval enhancements to enhance accuracy and reliability in practical legal consulting scenarios. Our evaluation using a custom benchmark dataset demonstrates that LegiLM excels in detecting data regulation breaches, offering sound legal justifications, and recommending necessary compliance modifications, setting a new benchmark for AI-driven legal compliance solutions. Our resources are publicly available at https://github.com/DAOLegalAI/LegiLM

연구 동기 및 목표

• 글로벌 데이터 보호 규정의 복잡성 증가에 대응하기 위해, 특히 준수를 위해 전문 법적 심사가 필요한 GDPR과 같은 규정을 다루기 위해.
• 법적 전문가들이 데이터 공유 계약서 및 개인정보 정책의 규제 준수 여부를 평가하는 데 소요되는 수작업 및 시간을 줄이기 위해.
• 법적 추론, 정보 검색 및 피인계된 지시 튜닝을 통합하여 정확한 준수 평가가 가능한 도메인 특화 언어 모델을 개발하기 위해.
• 계약서 및 데이터 상호작용 이벤트에서 데이터 규정 위반을 자동으로 탐지할 수 있는 공개 가능하고 고정확도의 도구를 만들기 위해.
• GDPR 및 데이터 보안에 집중된 고유의 전문화된 데이터셋을 기반으로 평가함으로써, 데이터 준수 분야의 법적 AI 기준을 설정하기 위해.

제안 방법

• GDPR 규정, 사례 법원 판결 및 세부 애너테이션 처리된 실제 데이터 공유 계약서를 포함한 종합적이고 도메인 특화된 데이터셋으로 기본 언어 모델(SaulLM-7B)을 피인계함.
• 법적 추론 및 준수 설명에 중점을 두어 지시 튜닝을 적용하여, 모델이 복잡한 규제 질문을 해석하고 응답할 수 있는 능력을 향상시킴.
• 추론 중 관련 법적 규정을 검색함으로써 사실 기반 성향을 향상시키고 환각 현상을 줄이기 위해 검색 기반 생성(RAG) 기법을 통합함.
• 법적 문헌 코퍼스에서의 사전 학습과 준수 전용 지시 데이터에 대한 감독적 피인계 학습을 결합한 다단계 학습 파이프라인을 적용하여 법적 질문 응답 성능을 최적화함.
• 실제 데이터 공유 계약서 및 GDPR 준수 정책 예시를 포함한 고유의 벤치마크 데이터셋을 평가에 활용하여 실용적 관련성을 확보함.
• 영어 법적 맥락에 최적화되어 있으며, 데이터 상호작용 행동, 개인정보 조항 및 GDPR 하의 보안 의무에 중점을 둠.

실험 결과

연구 질문

• RQ1 피인계된 법적 언어 모델이 일반 목적 및 기존 법적 LLM보다 데이터 공유 계약서에서 GDPR 준수 위반 여부를 더 잘 탐지할 수 있는가?
• RQ2 애너테이션 처리된 법적 데이터셋을 활용한 도메인 특화 피인계 학습이 법적 추론 작업에서 설명 품질과 사실 정확도를 얼마나 향상시키는가?
• RQ3 LegiLM는 데이터 보호와 관련된 법적 질문 응답 작업에서, 특히 데이터 처리 활동의 합법성 평가에 있어 어떤 성능을 보이는가?
• RQ4 검색 기반 생성과 지시 튜닝을 통합함으로써 준수 감지 정확도와 추론 신뢰성에 어떤 영향을 미치는가?
• RQ5 GDPR 전용 데이터로 훈련된 전문화된 법적 LLM이 개인정보 및 데이터 보안 분야의 실제 준수 과제에 효과적으로 일반화될 수 있는가?

주요 결과

• LegiLM는 법적 질문 응답을 위한 LegalBench-Instruct 벤치마크에서 68.05%의 정확도와 68.21의 F1 스코어를 기록하여, GPT-4(42.35% 정확도)와 Qwen-1.5-72B(31.41% 정확도)를 크게 앞서며 뛰어난 성능을 보였다.
• LegiLM는 높은 수준의 법적 설명을 제공하여 설명 품질 평가에서 '높음'으로 평가되었으며, GPT-4 및 Lawyer-LLaMA-13B와 같은 모델이 받은 '중간' 평가를 뛰어넘었다.
• 모델는 개인정보 정책 및 계약서에서의 데이터 규정 위반 탐지에 뛰어난 성능을 보였으며, 준수하지 않는 데이터 처리 조항을 식별하는 데에도 뛰어난 능력을 보였다.
• GDPR 전용 데이터와 애너테이션 처리된 계약서를 활용한 도메인 특화 피인계 학습은 준수 감지 정확도와 법적 추론 신뢰성 향상에 명백한 개선 효과를 보였다.
• InternLM-Law-7B 및 DISC-Law-7B와 같은 다른 법적 전용 모델보다 영어 기반 GDPR 준수 작업에서 LegiLM가 뛰어난 성능을 보이며, 언어 및 도메인 전문화의 중요성을 입증했다.
• 모델의 성능는 고품질의 애너테이션 처리된 법적 코퍼스에 대한 집중적인 피인계 학습이 법적 AI 분야에서 데이터 준수 분야의 최첨단 성과를 달성하는 데 필수적임을 시사한다.