[논문 리뷰] Legal Extractive Summarization of U.S. Court Opinions

E.Nussbaumer A.Bauer, Dominik Stammbach외 2명|arXiv (Cornell University)|2023. 05. 15.

Artificial Intelligence in Law인용 수 6

한 줄 요약

이 논문은 인간이 주석을 달아 레이블링한 43만 건의 문서 데이터셋을 기반으로 훈련된 강화학습 기반의 추출적 요약 모델인 MemSum을 소개한다. 이 모델은 미국 연방 법원 판결문을 요약하는 데 사용되며, 자동 평가 지표와 인간 평가에서 트랜스포머 기반 모델 및 기준 모델을 모두 능가한다. 핵심 법적 논거를 유지하면서 최대 100배의 압축을 달성하는 고품질 요약을 생성한다.

ABSTRACT

This paper tackles the task of legal extractive summarization using a dataset of 430K U.S. court opinions with key passages annotated. According to automated summary quality metrics, the reinforcement-learning-based MemSum model is best and even out-performs transformer-based models. In turn, expert human evaluation shows that MemSum summaries effectively capture the key points of lengthy court opinions. Motivated by these results, we open-source our models to the general public. This represents progress towards democratizing law and making U.S. court opinions more accessible to the general public.

연구 동기 및 목표

• 장기간에 걸친 미국 연방 법원 판결문을 전문가가 아닌 사람들과 법조인들이 더 쉽게 접근할 수 있도록 하는 데 도전한다.
• 법적 텍스트의 복잡성과 장문의 문서 길이로 인해 어려운 법원 판결문에 대해 고정확도의 추출적 요약 모델을 개발한다.
• 자동 평가 지표 외에도 전문가의 인간 평가를 통해 법적 정확도를 확보하기 위해 모델 성능을 평가한다.
• 공개된 모델을 통해 법적 문서에 대한 접근성을 민주화한다. 연구자 및 일반 대중이 사용할 수 있도록 훈련된 모델을 공개한다.

제안 방법

• 인간이 주석을 달아 레이블링한 기준 요약문을 기반으로, 핵심 문장을 선택하는 강화학습 기반 모델인 MemSum을 훈련시켰다.
• 43만 건의 미국 연방 법원 판결문으로 구성된 대규모 데이터셋을 활용하여, 감독 훈련 및 미세조정을 수행하였다. 이 데이터셋에는 핵심 문장이 주석으로 달려 있다.
• 강화학습 프레임워크 내에서 요약 품질을 개선하기 위해 관련성과 논리적 일관성 측면에서 기준 요약문과의 유사도를 기반으로 보상 모델을 활용하였다.
• ROUGE와 같은 자동 평가 지표와 함께 인간 평가를 통해 MemSum을 트랜스포머 기반 장문 처리 아키텍처 및 강력한 기준 모델들과 비교하였다.
• 추상적 생성이 아닌 기존 문장을 선택하는 추출적 생성 방식을 통해 장문의 문서를 효과적으로 처리할 수 있도록 모델을 설계하였다.
• 변호사가 주석을 달아 레이블링한 블라인드 인간 평가를 실시하여, 기계가 생성한 요약문과 인간이 작성한 요약문 간의 품질과 법적 정확도를 비교하였다.

실험 결과

연구 질문

• RQ1 강화학습 기반의 추출적 요약 모델은 장기간의 미국 연방 법원 판결문 요약에서 트랜스포머 기반 모델을 능가할 수 있는가?
• RQ2 기계가 생성한 요약문은 장기간의 법원 판결문에 담긴 핵심 법적 및 정책적 논거를 어느 정도 유지하는가?
• RQ3 MemSum의 성능은 자동 평가 지표와 전문가의 인간 평가에서 강력한 기준 모델들과 비교해 어떻게 나타나는가?
• RQ4 대규모 법원 판결문 데이터셋으로 훈련된 모델은 다양한 법적 분야와 판결 유형에 대해 잘 일반화되는가?
• RQ5 이러한 모델을 공개함으로써 일반 대중이 법적 정보에 접근하는 데 어떤 영향을 미치며, 법의 민주화에 어떤 기여를 하는가?

주요 결과

• MemSum은 자동 요약 품질 평가 지표에서 표준 트랜스포머 기반 모델과 다른 기준 모델들을 모두 능가하는 최고의 성능을 기록하였다.
• 인간 평가에서 MemSum 요약문은 장기간의 법원 판결문의 핵심 포인트를 효과적으로 포괄하고 있으며, 인간이 주석을 달아 레이블링한 요약문과 강력한 일치를 보였다.
• 모델은 최대 100배의 압축 비율을 달성하여 핵심 문장만을 추출하면서도 핵심 법적 추론과 정책 논거를 유지하였다.
• *Dobbs v. Jackson*의 다数 의견과 이단 의견 요약문 모두 원본 판결문의 중심적인 법적 내용을 높은 수준으로 대표하고 있었다.
• 전문가 인간 평가자들은 기계가 생성한 요약문이 인간이 작성한 요약문과 동등한 품질을 보였다고 평가하였으며, 특히 법적 정확도와 논거 커버리지 측면에서 유사성을 보였다.
• GitHub에 MemSum 모델를 공개함으로써 법조인, 연구자, 일반 대중이 보다 넓게 접근할 수 있게 되었으며, 법 정보의 민주화를 촉진하였다.