[논문 리뷰] Semantic Segmentation of Legal Documents via Rhetorical Roles

Vijit Malik, Rishabh Sanjay외 5명|arXiv (Cornell University)|2021. 12. 03.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 장기적이고 구조가 흐트러진 법적 텍스트의 의미적 분할을 가능하게 하기 위해 13개의 논리적 역할(예: 사실, 주장, 판결)로 애너테이션된 인도 법원 판결의 새로운 코퍼스를 소개한다. 문서 수준의 논리적 역할 전환을 보조 과제로 사용하는 다중 작업 학습 모델을 제안하여 논리적 역할 예측에서 뛰어난 성능(_macro F1: 0.68_)을 달성하였으며, 도메인 전이 및 모델 정련 시나리오에서의 강건성도 입증하였다.

ABSTRACT

Legal documents are unstructured, use legal jargon, and have considerable length, making them difficult to process automatically via conventional text processing techniques. A legal document processing system would benefit substantially if the documents could be segmented into coherent information units. This paper proposes a new corpus of legal documents annotated (with the help of legal experts) with a set of 13 semantically coherent units labels (referred to as Rhetorical Roles), e.g., facts, arguments, statute, issue, precedent, ruling, and ratio. We perform a thorough analysis of the corpus and the annotations. For automatically segmenting the legal documents, we experiment with the task of rhetorical role prediction: given a document, predict the text segments corresponding to various roles. Using the created corpus, we experiment extensively with various deep learning-based baseline models for the task. Further, we develop a multitask learning (MTL) based deep model with document rhetorical role label shift as an auxiliary task for segmenting a legal document. The proposed model shows superior performance over the existing models. We also experiment with model performance in the case of domain transfer and model distillation techniques to see the model performance in limited data conditions.

연구 동기 및 목표

• 인도의 사례 법령에서 장기적이고 구조가 흐트러지며 전문 용어가 많은 법적 문서를 처리하는 데 있어 자동화된 법적 정보 추출 및 의사결정을 방해하는 문제를 해결하기 위해.
• 다양한 법적 분야에서 법률 전문가들이 애너테이션한 13개의 세분화된 논리적 역할 레이블(예: 쟁점, 판결 근거, 선례)을 포함하는 새로운 코퍼스를 구축하기 위해.
• 문서 수준의 레이블 전환을 보조 신호로 활용하여 논리적 역할 예측 성능을 향상시키는 다중 작업 학습 모델을 개발하고 평가하기 위해.
• 법률 하위도메인(예: IT/CL) 간의 일반화 성능을 평가하고, 레이블이 없는 데이터를 활용한 모델 정련을 통한 데이터 효율성 탐색하기 위해.
• 골드 표준 또는 예측된 역할 세그먼트를 사용할 때의 성능 향상을 보여줌으로써 논리적 역할이 판단 예측과 같은 후속 법적 NLP 작업에서의 유용성을 입증하기 위해.

제안 방법

• 여러 법적 분야(예: IT, 형사법)에 걸쳐 100개의 인도 판결 문서를 13개의 의미적으로 일관된 논리적 역할로 애너테이션하였으며, 전문가 애너테이션과 상호 애너테이터 일치도를 통해 검증하였다.
• 새로운 코퍼스에서 논리적 역할의 시퀀스 레이블링을 위한 다양한 딥 러닝 베이스라인(예: BiLSTM-CRF, BERT)을 훈련하고 비교하였다.
• 주 과제는 논리적 역할 예측이고, 보조 과제는 문서 전반의 논리적 역할 분포 전환을 예측하는 다중 작업 학습(MTL) 프레임워크를 제안하였다.
• 큰 성능을 보이는 교사 모델(MTL-BiLSTM-CRF)의 지식을 더 작은 학생 모델로 전달하기 위해 지식 정련을 적용하여, 레이블이 제한된 데이터에서 성능 향상을 도모하였다.
• 법적 문서의 마지막 512개 토큰에 대해 BERT 모델을 피니어튜닝하여 판단 예측을 수행하고, 단지 이 토큰들만 사용할 경우와 예측된 또는 골드 표준 논리적 역할 세그먼트(예: ROD, RPC)만 사용할 경우의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 세분화된 논리적 역할 애너테이션 체계(13개 역할)가 더 굵은 체계에 비해 장기적이고 복잡한 법적 판결의 의미적 분할을 향상시킬 수 있는가?
• RQ2 다중 작업 학습 프레임워크에서 문서 수준의 논리적 역할 전환을 보조 과제로 통합할 경우, 논리적 역할 예측 모델의 성능 향상이 이루어지는가?
• RQ3 제안된 MTL 모델이 새로운 법적 하위도메인(예: IT에서 형사법으로)으로 이식되었을 때 얼마나 강건한가?
• RQ4 레이블이 부족한 상황에서 모델 정련이 성능 향상에 얼마나 기여하는가? 그리고 이는 도메인 간 일반화를 향상시키는가?
• RQ5 논리적 역할 세그먼테이션은 판단 예측과 같은 후속 법적 NLP 작업에서 성능 향상에 기여하는가? 그리고 예측된 역할을 사용할 경우 골드 표준 역할을 사용한 결과와 유사한 성능을 달성하는가?

주요 결과

• 제안된 다중 작업 학습 모델은 논리적 역할 예측 과제에서 매크로 F1 점수 0.68을 달성하여 기존의 베이스라인 모델들을 능가하였다.
• 한 번의 정련 반복 후 RLC(Rationale for Legal Conclusion) 레이블에서 F1 점수가 0.11 향상되었으며, 레이블 분산 감소에 기여하였다.
• 모델 정련은 모든 레이블에서 성능 향상을 이끌었으며, 두 번의 정련 단계를 거친 최적의 반복에서 매크로 F1 점수가 0.72에 도달하였다.
• 골드 표준 논리적 역할 세그먼트(ROD 및 RPC)를 사용한 판단 예측은 마지막 512개 토큰만 사용할 경우의 F1 점수 0.55에서 0.58로 향상되었으며, 통계적으로 유의미한 결과(p ≤ 0.05)를 보였다.
• MTL 모델을 사용해 예측한 ROD 및 RPC 세그먼트를 활용한 판단 예측 성능는 전체 문서에 대해 피니어튜닝된 BERT 모델과 유사한 성능을 보였으며, 강력한 후속 작업 유용성을 입증하였다.
• 모델는 재학습 없이도 IT에서 형사법 도메인으로의 도메인 전이에 있어 효과적으로 일반화되어 강건성을 입증하였다.