[논문 리뷰] LawSum: A weakly supervised approach for Indian Legal Document Summarization

Vedant Parikh, Vidit Mathur외 3명|arXiv (Cornell University)|2021. 10. 04.

Artificial Intelligence in Law인용 수 12

한 줄 요약

이 논문은 인도 법원 판결문 요약을 위한 움직임 없는 학습 접근법인 LawSum을 소개한다. 새로 구축한 10,764건의 인도 헌법재판소 판결문 데이터셋(수기로 작성된 개요문 포함)을 사용하며, 요약에 적합한 문장을 의사 관련성 점수를 통해 자동으로 레이블링하고, 클래스 불균형을 보완하기 위해 포화 손실(focal loss)을 적용한 신경망 분류기를 훈련시켜 ROUGE-F1 점수 0.619를 달성하였다. 이는 강력한 추출 기반 기준 모델들을 크게 앞서는 성능이다.

ABSTRACT

Unlike the courts in western countries, public records of Indian judiciary are completely unstructured and noisy. No large scale publicly available annotated datasets of Indian legal documents exist till date. This limits the scope for legal analytics research. In this work, we propose a new dataset consisting of over 10,000 judgements delivered by the supreme court of India and their corresponding hand written summaries. The proposed dataset is pre-processed by normalising common legal abbreviations, handling spelling variations in named entities, handling bad punctuations and accurate sentence tokenization. Each sentence is tagged with their rhetorical roles. We also annotate each judgement with several attributes like date, names of the plaintiffs, defendants and the people representing them, judges who delivered the judgement, acts/statutes that are cited and the most common citations used to refer the judgement. Further, we propose an automatic labelling technique for identifying sentences which have summary worthy information. We demonstrate that this auto labeled data can be used effectively to train a weakly supervised sentence extractor with high accuracy. Some possible applications of this dataset besides legal document summarization can be in retrieval, citation analysis and prediction of decisions by a particular judge.

연구 동기 및 목표

• 인도 법령 텍스트 분석 연구를 저해하는 대규모, 공개 가능하며 잘 정리된 주석 데이터셋의 부족 문제를 해결하기 위해.
• 노이즈가 많은 인도 법원 판결문에서 표기 어색함을 정규화하고, 명칭 요소의 철자 오류를 수정하며, 정확한 문장 토큰화를 수행하는 사전 처리 파이프라인을 개발하기 위해.
• 개요문 정렬 기반으로 자동 생성된 레이블을 사용하여, 인도 법원 문서의 요약에 적합한 문장을 식별하는 움직임 없는 학습 방법을 개발하기 위해.
• 움직임 없는 학습 신경망 모델이 인도 법령 텍스트에서 강력한 추출 기반 요약 기준 모델을 능가할 수 있음을 입증하기 위해.
• 요약을 넘어서 레퍼런스 역할 레이블링, 인용 분석, 선례 검색 등의 응용을 가능하게 하기 위해.

제안 방법

• 저자는 공개 기록에서 10,764건의 헌법재판소 판결문을 수집하여 사전 처리 과정을 거쳤으며, 법적 약어를 정규화하고 명칭 요소의 철자 오류를 수정하였다.
• 각 판결문은 문장 단위로 토큰화되었으며, 이전 연구에서 확보한 사전 학습 모델을 사용하여 레퍼런스 역할 레이블을 할당하였다.
• 개요문과의 겹침을 기반으로 의사 관련성 점수 기반 메커니즘을 개발하여 문장을 '요약에 적합한' 것으로 자동으로 레이블링하였다.
• 클래스 불균형 문제를 완화하기 위해 요약에 적합한 문장에 대해 4배의 가중치를 부여한 포화 손실을 사용하여 신경망 문장 분류기를 훈련시켰다.
• ROUGE-F1 점수를 최대화하기 위해 오버샘플링 및 임계값 최적화(0.5–0.85)를 통해 모델을 피지컬 튜닝하였다.
• 최종 요약 시스템은 길이 제약 없이 분류기 출력 결과에 기반해 문장을 선택한다.

실험 결과

연구 질문

• RQ1 헤드노트만을 지도로 사용하여 움직임 없는 학습 접근법이 인도 법원 판결문에서 요약에 적합한 문장을 효과적으로 식별할 수 있는가?
• RQ2 신경망 분류기의 성능은 LexRank, LSA, Greedy-KL와 같은 전통적인 추출 기반 요약 방법에 비해 인도 법령 텍스트에서 어떻게 비교되는가?
• RQ3 제안된 모델이 헌법법, 지적재산권, 형사법과 같은 다양한 법적 분야로 일반화되는 정도는 어느 정도인가?
• RQ4 특히 1950년에서 1993년 사이에 걸쳐 변화하는 판결어휘를 고려할 때, 모델의 성능은 시간대에 따라 어떻게 변화하는가?
• RQ5 제안된 데이터셋과 파이프라인은 요약을 넘어서 레퍼런스 역할 레이블링, 인용 분석 등의 후행 작업을 지원할 수 있는가?

주요 결과

• 제안된 움직임 없는 학습 신경망 모델은 ROUGE-F1 점수 0.619를 달성하여 LexRank(0.542), LSA(0.540), Greedy-KL(0.538) 등 강력한 기준 모델들을 뚜렷이 앞섰다.
• 모델은 다양한 법적 분야에서 뛰어난 일반화 성능을 보였으며, 지적재산권 분야에서 가장 높은 성능(ROUGE-F1: 0.697)을 기록했고, 노동 및 산업법 분야에서도 높은 성능(0.676)을 보였다.
• 1950–1955년대 성능은 약간 하락했으며, 이는 오래된 어조 스타일에 적응하는 데 어려움이 있음을 시사하지만, 대부분의 시간대에서 안정적인 성능 유지를 보였다.
• 문장 기반 방법에 비해 단어 기반 길이 제어 방법이 더 높은 정밀도(예: 5번 접근법에서 0.558)를 기록했다. 이는 인도 판결문의 평균 문장 길이가 150단어로 매우 길기 때문이다.
• 이 데이터셋은 현재까지 공개된 바 있는 가장 큰 인도 법령 텍스트 주석 코퍼스이며, 케이스 인용, 재판관, 당사자, 법률 조항 참조 등의 풍부한 메타데이터를 포함하고 있다.
• 저자는 모델의 성능가 다양한 하위 분야와 시간대에 걸쳐 뛰어난 안정성을 유지함을 확인하였으며, 이는 법적 NLP 응용 분야에서 실용적인 유용성을 입증한다.