[논문 리뷰] Legal Case Document Summarization: Extractive and Abstractive Methods and their Evaluation

Abhay Shukla, Paheli Bhattacharya외 5명|arXiv (Cornell University)|2022. 10. 14.

Artificial Intelligence in Law인용 수 13

한 줄 요약

이 논문은 인도 및 영국 최고법원 판결문에서 유래한 세 개의 새로운 데이터셋을 사용하여 법적 케이스 문서에 대해 추출적 요약 및 개성적 요약 방법을 평가한다. 비감독 추출 모델인 DSDR와 감독 모델인 SummaRuNNer가 도메인 특화 접근 방식을 초월하여 뛰어난 성능을 보이며, 청크 기반 미세조정 전략이 장문의 문서 요약에 유리하다. 전문가 평가 결과, 자동 평가 지표와 인간 평가 간 상관관계가 낮음을 확인하였다.

ABSTRACT

Summarization of legal case judgement documents is a challenging problem in Legal NLP. However, not much analyses exist on how different families of summarization models (e.g., extractive vs. abstractive) perform when applied to legal case documents. This question is particularly important since many recent transformer-based abstractive summarization models have restrictions on the number of input tokens, and legal documents are known to be very long. Also, it is an open question on how best to evaluate legal case document summarization systems. In this paper, we carry out extensive experiments with several extractive and abstractive summarization methods (both supervised and unsupervised) over three legal summarization datasets that we have developed. Our analyses, that includes evaluation by law practitioners, lead to several interesting insights on legal summarization in specific and long document summarization in general.

연구 동기 및 목표

• 장기간이고 복잡한 법적 케이스 문서에 대한 요약 모델의 체계적 평가 부족 문제를 해결하기 위해.
• 기준 평가를 위한 목적을 위해 인도 및 영국 최고법원 판결문에서 유래한 세 개의 새로운 법적 요약 데이터셋을 개발하기 위해.
• 감독, 비감독, 도메인 특화 모델을 포함한 추출적 및 개성적 방법의 성능을 비교하기 위해.
• Transformer 모델의 입력 토큰 제한으로 인한 장문의 법적 문서 처리 전략을 탐색하기 위해.
• 법률 전문가의 평가를 포함한 자동 평가 지표를 통해 요약 품질을 평가하기 위해.

제안 방법

• 법률 전문가가 작성한 기준 요약을 포함한 세 개의 새로운 법적 요약 데이터셋을 개발: IN-Ext(인도 추출적), IN-Abs(인도 개성적), UK-Abs(영국 개성적).
• 다양한 요약 방법을 적용: 비감독 추출 모델(예: LexRank, DSDR, PacSum), 감독 추출 모델(예: SummaRuNNer, BERTSUM), 개성적 모델(예: BART, Longformer, Legal-Pegasus).
• 장문 문서 요약을 위한 세 가지 전략 탐색: Longformer를 활용한 장문 컨텍스트 처리, 짧은 모델(예: BART)을 사용한 청크 기반 처리, 추출-개성적 하이브리드 파이프라인.
• 법률 텍스트에 특화된 모델인 Legal-Pegasus를 법률 코퍼스에 대해 미세조정하여 성능 향상.
• 법률 전문가가 5개 문서의 35개 요약을 대상으로 평가하여, 각 요약을 사실(Facts), 판결(Judgment), 선례(Precedents) 등 5개의 문맥적 요소, 독해성, 총합 품질을 5점 척도로 평가.
• 자동 평가 지표(ROUGE, BERTScore)와 전문가 평가 간 상관관계를 계산하여 법적 NLP 분야에서의 평가 지표 신뢰도 평가.

실험 결과

연구 질문

• RQ1 추출적 요약 모델과 개성적 요약 모델은 법적 케이스 문서에서 어떤 성능을 보이는가?
• RQ2 도메인에 관계없이 일반화된 모델이 법적 요약에서 도메인 특화 모델을 초월하는가?
• RQ3 Transformer 모델의 입력 길이 제약 조건을 고려할 때, 장문의 법적 문서를 요약하는 데 가장 효과적인 전략은 무엇인가?
• RQ4 자동 평가 지표(예: ROUGE, BERTScore)는 법률 전문가의 평가와 얼마나 높은 상관관계를 보이는가?
• RQ5 요약문이 법적 판결의 핵심 문맥적 요소(예: 사실, 판결, 선례)를 얼마나 균형 있게 반영하는가?

주요 결과

• 비감독 추출 모델인 DSDR가 법률 전문가의 총합 만족도 평가에서 가장 높은 점수를 기록하며, 감독 및 개성적 모델을 모두 앞섰다.
• 감독 추출 모델인 SummaRuNNer와 DSDR가 전문가 평가에서 중요한 정보 커버리지 및 독해성 측면에서 최고 평가를 받았다.
• 청크 기반 접근 방식—먼저 요약을 추출한 후 개성적 모델을 적용하는 방식—이 직접적인 장문 개성적 요약보다 뛰어난 성능을 보였으며, 특히 미세조정을 통해 성능 향상을 확보하였다.
• Longformer는 가장 긴 문서를 포함한 UK-Abs 데이터셋에서 최고 성능을 보였지만, 짧은 법적 문서에서는 청크 기반 방법에 밀렸다.
• 자동 평가 지표는 전문가 평가와 매우 낮은 상관관계를 보였다: ROUGE-1 F-Score(0.212), ROUGE-2 F-Score(0.208), ROUGE-L F-Score(0.132), BERTScore(0.067), 이는 법적 요약 평가에서의 신뢰도가 제한적임을 시사한다.
• 모든 모델이 모든 문맥적 요소에 균형 잡힌 표현을 보이지 못했으며, 특히 후반부에서 인용된 선례(PRE)와 논거(ARG) 요소를 누락하는 경향이 있었다.