[논문 리뷰] A Dataset of German Legal Documents for Named Entity Recognition

Elena Leitner, Georg Rehm외 1명|arXiv (Cornell University)|2020. 03. 29.

Topic Modeling참고 문헌 15인용 수 27

한 줄 요약

이 논문은 독일 연방 법원 판결문에서 유래한 67,000개의 독일어 법적 문장(200만 개 이상의 토큰)을 포함하는 대규모 수작업 주석 처리 데이터셋을 제시한다. 이 데이터셋에는 19개의 세분화된 의미 클래스에 걸쳐 54,000개의 명명된 실체가 포함되어 있으며, 법률, 규정, 법원 판결과 같은 법적 특화 실체를 포함한다. 이 데이터셋은 유럽연합 Lynx 프로젝트를 위해 개발되었으며, CoNNL-2002 형식으로 CC-BY 4.0 라이선스 하에 배포되며, 약 35,000개의 자동 주석 처리된 TimeML 시점 표현을 포함하여 독일어 법적 텍스트 전용 NER 시스템의 훈련을 가능하게 한다.

ABSTRACT

We describe a dataset developed for Named Entity Recognition in German federal court decisions. It consists of approx. 67,000 sentences with over 2 million tokens. The resource contains 54,000 manually annotated entities, mapped to 19 fine-grained semantic classes: person, judge, lawyer, country, city, street, landscape, organization, company, institution, court, brand, law, ordinance, European legal norm, regulation, contract, court decision, and legal literature. The legal documents were, furthermore, automatically annotated with more than 35,000 TimeML-based time expressions. The dataset, which is available under a CC-BY 4.0 license in the CoNNL-2002 format, was developed for training an NER service for German legal documents in the EU project Lynx.

연구 동기 및 목표

• 독일어 법적 문서를 위한 자유로운 접근이 가능한 도메인 특화 NER 데이터셋의 부족을 해결하기 위해.
• 독일 연방 법원 판결에 관련된 19개의 세분화된 의미 클래스의 체계적 분류 체계를 개발하기 위해.
• NLP 모델 훈련 및 평가에 적합한 고품질 수작업 주석 처리 데이터셋을 구축하기 위해.
• 다국어 유럽 환경에서 법적 지식 그래프를 위한 의미 기반 코딩 기술 개발을 지원하기 위해.
• 유럽연합 내 법적 준수 서비스를 위한 강력하고 도메인에 특화된 NER 시스템 개발을 가능하게 하기 위해.

제안 방법

• 독일 연방 법원 판결문에서 유래한 67,000개 문장의 수작업 주석 처리를 통해 19개의 의미 실체 클래스(사람, 재판관, 법원, 법률, 시행령, 규정, 법적 문헌 등)를 포함한다.
• 복잡한 법적 실체 유형에 대해 일관성을 확보하기 위한 표준화된 주석 지침 개발.
• 규칙 기반 및 NLP 기반 방법을 활용한 TimeML 기반 시점 표현 자동 추출을 통해 시점 메타데이터를 데이터셋에 통합.
• 기존 NER 툴킷 및 훈련 파이프라인과의 호환성을 확보하기 위해 CoNNL-2002 표준 형식으로 데이터셋 포맷팅.
• EU Lynx 프로젝트에 데이터셋 통합을 통해 다국어 법적 도메인에서의 준수 서비스 지원.
• 오픈 연구 및 재현 가능성을 증진하기 위해 CC-BY 4.0 라이선스 하에 데이터셋 배포.

실험 결과

연구 질문

• RQ1 독일어 법적 문서에 가장 효과적이고 세분화된 실체 유형 분류 체계는 무엇인가?
• RQ2 도메인 특화 실체 클래스를 포함한 독일어 법적 텍스트 전용 고품질 NER 데이터셋을 어떻게 구축할 수 있는가?
• RQ3 기존 NER 모델이 이 법적 특화 데이터셋에서 효과적으로 훈련될 수 있는 정도는 어느 정도인가?
• RQ4 자동으로 추출된 시점 표현은 법적 문서에서 수작업 NER 주석 처리와 어떻게 보완되는가?
• RQ5 이 데이터셋은 다국어 EU 환경에서 법적 지식 그래프를 구축하는 기초 자료로 활용될 수 있는가?

주요 결과

• 데이터셋은 약 67,000개의 문장과 200만 개 이상의 토큰을 포함하며, 19개의 의미 클래스에 걸쳐 54,000개의 수작업 주석 처리된 명명된 실체가 포함되어 있다.
• 데이터셋에는 법원 판결, 법적 문헌, 규정, 유럽 법적 규범 등 19개의 세분화된 실체 유형이 포함되어 있어 독일어 법적 텍스트의 복잡성을 반영한다.
• TimeML를 활용해 약 35,000개의 시점 표현을 자동 주석 처리하여, 시간적 추론에 대한 데이터셋의 유용성을 향상시켰다.
• 데이터셋은 CC-BY 4.0 라이선스 하에 배포되며 CoNNL-2002 형식으로 제공되어 광범위한 접근성과 NLP 도구와의 호환성을 확보한다.
• BERT 기반 모델을 활용한 초도 실험에서 성능 향상이 관찰되지 않아 일반 목적 언어 모델을 법적 NER에 적용하기 위해 추가 적응이 필요함을 시사한다.
• 이 데이터셋은 독일어 법적 도메인에서 NER 시스템의 훈련 및 평가를 위한 기초 자료로 사용되며, EU Lynx 프로젝트가 다국어 법적 지식 그래프를 구축하는 데 목표를 달성하는 데 기여한다.