[논문 리뷰] Pile of Law: Learning Responsible Data Filtering from the Law and a 256GB Open-Source Legal Dataset

Peter Henderson, Mark Krass외 5명|arXiv (Cornell University)|2022. 07. 01.

Artificial Intelligence in Law인용 수 44

한 줄 요약

이 논문은 Pile of Law를 도입하고 데이터 필터링을 법에 기반하여 연구하기 위한 ~256GB의 오픈 소스 법률 데이터 세트를 제시하며, 이를 통해 맥락적 프라이버시 및 독성 필터를 학습해 책임 있는 LLM 프리트레이닝을 안내하는 방법을 보여준다.

ABSTRACT

One concern with the rise of large language models lies with their potential for significant harm, particularly from pretraining on biased, obscene, copyrighted, and private information. Emerging ethical approaches have attempted to filter pretraining material, but such approaches have been ad hoc and failed to take context into account. We offer an approach to filtering grounded in law, which has directly addressed the tradeoffs in filtering material. First, we gather and make available the Pile of Law, a 256GB (and growing) dataset of open-source English-language legal and administrative data, covering court opinions, contracts, administrative rules, and legislative records. Pretraining on the Pile of Law may help with legal tasks that have the promise to improve access to justice. Second, we distill the legal norms that governments have developed to constrain the inclusion of toxic or private content into actionable lessons for researchers and discuss how our dataset reflects these norms. Third, we show how the Pile of Law offers researchers the opportunity to learn such filtering rules directly from the data, providing an exciting new research direction in model-based processing.

연구 동기 및 목표

• 법률 및 행정 데이터의 ~256GB 데이터 세트(Pile of Law)를 선별하고 오픈 소스화하여 데이터 정화 규범을 연구한다.
• 정부의 법률 및 규정이 데이터의 프라이버시와 독성 제약에 어떤 영향을 미치는지 분류하고 이를 모델 프리트레이닝에 활용한다.
• 법적 데이터로부터 암시적 정리 규칙을 학습해 필터링을 안내할 수 있음을 시연한다.
• 법적 규범으로부터 맥락적 프라이버시 및 독성 표준을 학습하기 위한 실행 가능한 통찰과 프레임워크를 제공한다.

제안 방법

• 법원 판결문, 계약서, 법령, 규정 및 정부 발행물 등 35개 소스의 데이터를 선별한다.
• 미합중국 법체계 및 부속문헌에 근거한 프라이버시 및 독성 필터링 규범을 특징지어 논의한다.
• Pile of Law에서 초기 BERT-large-equivalent 모델을 학습하고 기준 결과를 보고한다(Appendix F).
• 데이터 세트에서 맥락적 프라이버시 규칙(예: 가명화 결정)을 추론하기 위한 사례 연구 및 학습 방법을 개발한다.
• 모델 간 독성 필터링 및 시간에 따른 변화를 평가하고 합의/비합의 및 맥락적 요인을 강조한다(Appendix).
• 암시적 정리 규칙이 법적 재작성 메커니즘을 모방하도록 학습될 수 있음을 설명한다.

실험 결과

연구 질문

• RQ1 법적 규범이 대형 언어 모델의 프리트레이닝 데이터 정리에 어떤 정보를 제공할 수 있는가?
• RQ2 Pile of Law 데이터 세트에서 맥락적 및 관할권별 프라이버시 규칙을 직접 학습할 수 있는가?
• RQ3 독성 정의 및 필터가 시간과 맥락에 따라 법적 규범과 어떻게 일치하는가?
• RQ4 법률 텍스트에 적용될 때 기존 독성 필터의 한계는 무엇이며, 법적 데이터로부터의 학습이 이를 어떻게 다룰 수 있는가?

주요 결과

• 저자들은 35개 소스에서 법률 및 행정 데이터를 ~256GB 규모의 데이터 세트로 선별하고 오픈 소스화하여 데이터 필터링 규범을 연구한다.
• Pile of Law에서의 프리트레이닝은 도전적인 법률 태스크에 도움이 될 수 있으며, 매우 맥락 특화된 모델과 비슷한 성능을 낼 수 있다(Appendix F).
• Pile of Law는 관할권과 맥락에 따라 달라지는 프라이버시 및 독성 규범을 암호화하여 맥락적 프라이버시 규칙(예: 가명성) 및 맥락적 독성 고려사항의 학습을 가능하게 한다.
• 독성 필터는 모델 간의 불일치와 콘텐츠 길이 및 맥락에 대한 민감성을 보이며, 더 강력하고 가치에 맞춘 필터링 접근의 필요성을 시사한다.
• 데이터 세트는 맥락 인식 필터링 규칙을 학습하고 법적 규범과의 정렬성을 측정할 수 있게 하며, 현재의 정화 기술의 한계를 드러내고 향후 연구 방향을 제시한다.