[논문 리뷰] Extractive Summarization of Legal Decisions using Multi-task Learning and Maximal Marginal Relevance

Abhishek Agarwal, Shanshan Xu외 1명|arXiv (Cornell University)|2022. 10. 22.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 BERT 기반 모델과 최대 경계 재levance(MMR)를 사용하여 법적 결정의 추출적 요약을 위한 다중 작업 학습 접근법을 제안한다. 중복을 줄이기 위해 요약 및 논리적 역할 식별을 함께 학습함으로써, 인간 전문가 요약과 비교할 만한 ROUGE 점수를 달성하여 자원이 제한된 법적 NLP 환경에서 뛰어난 성능을 보여준다.

ABSTRACT

Summarizing legal decisions requires the expertise of law practitioners, which is both time- and cost-intensive. This paper presents techniques for extractive summarization of legal decisions in a low-resource setting using limited expert annotated data. We test a set of models that locate relevant content using a sequential model and tackle redundancy by leveraging maximal marginal relevance to compose summaries. We also demonstrate an implicit approach to help train our proposed models generate more informative summaries. Our multi-task learning model variant leverages rhetorical role identification as an auxiliary task to further improve the summarizer. We perform extensive experiments on datasets containing legal decisions from the US Board of Veterans' Appeals and conduct quantitative and expert-ranked evaluations of our models. Our results show that the proposed approaches can achieve ROUGE scores vis-à-vis expert extracted summaries that match those achieved by inter-annotator comparison.

연구 동기 및 목표

• 제한된 전문가 애너테이션 데이터가 있는 저자원 설정에서 잘 작동하는 법적 결심에 대한 추출적 요약 시스템을 개발한다.
• 최대 경계 재levance(MMR)를 사용하여 요약의 중복을 줄이면서도 핵심 내용을 유지한다.
• 다중 작업 학습 프레임워크에서 보조 작업으로서의 논리적 역할 식별을 활용하여 요약 성능을 향상시킨다.
• ROUGE 메트릭을 사용한 정량적 평가와 전문가 평가를 통한 정성적 평가로 모델을 평가한다.
• 미국 전쟁 용병 복권위원회(BVA)의 실제 법적 결심, 특히 PTSD 보상 사례에 대해 모델의 효과성을 검증한다.

제안 방법

• 법적 텍스트에 특화된 BERT 모델을 미세조정하여 법적 용어와 문장 임베딩을 더 잘 포착한다.
• 법적 결심 내에서 논리적 역할(예: 추론, 증거 등)을 식별하기 위한 시퀀스 레이블링 모델을 보조 작업으로 학습한다.
• 유사도와 다양성의 균형을 맞춰 후보 문장을 재정렬하기 위해 MMR을 사용하여 최종 요약의 중복을 최소화한다.
• 추출적 요약과 논리적 역할 분류를 함께 최적화하여 작업 간 표현을 공유하는 다중 작업 학습을 적용한다.
• 학습 중에 중복 손실 항목을 통합하여 선택된 문장 내의 의미적 반복을 암묵적으로 줄인다.
• 모델 예측과 MMR 기반 선택을 조합하여 간결하고 정보가 풍부하며 중복이 없는 요약을 생성한다.

실험 결과

연구 질문

• RQ1 논리적 역할 식별을 보조 작업으로 포함한 다중 작업 학습이 저자원 법적 데이터셋에서 추출적 요약 성능을 향상시키는가?
• RQ2 법적 요약에서 MMR 기반 문장 선택은 다른 중복 감소 전략과 비교해 어떻게 성능을 보이는가?
• RQ3 제안된 모델이 정량적 및 정성적 평가 모두에서 인간 전문가가 애너테이션한 요약의 품질과 어느 정도 유사한가?
• RQ4 일반 도메인 모델과 비교해 도메인 특화 사전 훈련된 BERT를 통합하면 요약 성능이 향상되는가?
• RQ5 다중 작업 모델이 정량적 점수에서는 더 높은 반면, 정성적 평가에서는 왜 종종 단일 작업 모델이 선호되는가?

주요 결과

• 다중 작업 학습 모델은 상호 애너테이터 일치도를 충족하거나 초월하는 ROUGE 점수를 달성하여 인간 전문가 수준의 성능을 보였다.
• 보조 작업으로 논리적 역할 식별을 포함시킴으로써 단일 작업 기반 모델 대비 요약 성능이 크게 향상되었다.
• MMR 기반 선택 메커니즘이 중복을 효과적으로 줄였고, 동시에 원본 콘텐츠와의 관련성을 유지했다.
• 법률 전문가의 정성적 평가를 통해 제안된 모델이 생성한 요약이 인간 애너테이터가 만든 요약과 동등하거나 그 이상의 품질을 가짐을 확인했다.
• 정량적 점수는 높았지만 정성적 평가에서 단일 작업 모델이 선호된 것은 ROUGE 메트릭과 인간 판단 간의 잠재적 상충 관계를 시사한다.
• 모델는 PTSD 보상 사례에 대한 BVA 데이터셋에 잘 일반화되지만, 더 다양한 법적 도메인이나 사실 패턴에서는 성능이 다를 수 있다.