[논문 리뷰] Multi-LexSum: Real-World Summaries of Civil Rights Lawsuits at Multiple Granularities

Zejiang Shen, Kyle Lo외 4명|arXiv (Cornell University)|2022. 06. 22.

Artificial Intelligence in Law인용 수 20

한 줄 요약

멀티렉스섬은 CRLC에서 발췌한 미국 연방 민권 소송에 대한 전문가 작성의 다중 해상도 요약 9,280개를 제공하고, 현재 모델이 이 도전적이고 길며 다문서인 요약 작업에서 성능이 떨어지는지 분석합니다.

ABSTRACT

With the advent of large language models, methods for abstractive summarization have made great strides, creating potential for use in applications to aid knowledge workers processing unwieldy document collections. One such setting is the Civil Rights Litigation Clearinghouse (CRLC) (https://clearinghouse.net),which posts information about large-scale civil rights lawsuits, serving lawyers, scholars, and the general public. Today, summarization in the CRLC requires extensive training of lawyers and law students who spend hours per case understanding multiple relevant documents in order to produce high-quality summaries of key events and outcomes. Motivated by this ongoing real-world summarization effort, we introduce Multi-LexSum, a collection of 9,280 expert-authored summaries drawn from ongoing CRLC writing. Multi-LexSum presents a challenging multi-document summarization task given the length of the source documents, often exceeding two hundred pages per case. Furthermore, Multi-LexSum is distinct from other datasets in its multiple target summaries, each at a different granularity (ranging from one-sentence "extreme" summaries to multi-paragraph narrations of over five hundred words). We present extensive analysis demonstrating that despite the high-quality summaries in the training data (adhering to strict content and style guidelines), state-of-the-art summarization models perform poorly on this task. We release Multi-LexSum for further research in summarization methods as well as to facilitate development of applications to assist in the CRLC's mission at https://multilexsum.github.io.

연구 동기 및 목표

• 다수의 문서를 종합해야 하는 고비용 고가치 업무로서 실제 법률 요약의 필요성을 고취한다.
• 긴 원문과 다중 해상도 요약을 갖춘 대규모 전문가 작성 데이터셋인 Multi-LexSum을 소개한다.
• 기초 모델의 성능을 분석하고 법률 분야의 추상형 다문서 요약에서의 격차를 강조한다.

제안 방법

• CRLC에서 약 40k개의 원문 자료와 약 9k개의 전문가 작성 요약을 모은다.
• 각 사례에 대해 세 가지 목표 해상도를 제공한다: tiny(약 25단어), short(약 130단어), long(약 650단어).
• 긴 입력을 갖는 다문서 작업에서 최첨단 추상 요약 모델(BART, PEGASUS, LED, PRIMERA)을 평가한다.
• 추상 모델을 추출 기반 벤치마크와 비교하고 입력 길이와 해상도가 증가함에 따라 성능을 분석한다.
• 다중 해상도 요약을 활용하기 위한 다중 작업 및 다중 작업 학습 설정을 실험한다.
• CRLC 훈련 법대생과 함께 사람 평가를 수행하여 생성 요약의 사용성 및 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 모델이 대량의 다문서 소스에서 정보를 생성하고 합성하여 긴 요약, 짧은 요약, 아주 작은 요약을 생성할 수 있는가( d→l, d→s, d→t )?
• RQ2 다른 해상도에서 정확하고 활용 가능한 요약을 생성하도록 모델을 구성할 수 있는가( l→s, l→t, s→t )?
• RQ3 다중 해상도 활용이 다중 작업 또는 진행식 요약을 통해 성능을 향상시키는가, 특히 긴 요약의 경우?
• RQ4 다중 해상도 학습 패러다임이 망상(hallucination)을 줄이고 원문 자료와 사실적 일치를 향상시키는가?

주요 결과

• 기존 요약 모델은 Multi-LexSum에서 성능이 저조하며 인간 평가 품질 평균이 모델 산 outputs에 대해 0–3 척도에서 약 0.43이다.
• 롱 입력 모델(LED, PRIMERA)이 세 가지 다문서 작업 모두에서 전통적 단입력 모델을 능가한다.
• 장 요약은 여전히 인간 수준에 도달하기 어렵고, 최고 모델조차도 골드 긴 요약보다 훨씬 짧은 산출물을 냄(평균 647단어, 일부 모델의 경우 ~416단어).
• 다중 해상도 학습(세 가지 작업의 멀티태스크 설정)은 l→s 및 l→t 작업의 자동 평가 지표에서 장 요약 성능을 11–17% 향상시킨다.
• 긴/짧은 요약을 더 짧은 요약으로 축소하는(d→s, d→t, l→s, l→t, s→t) 방식은 상당한 이점을 가져오고, 골드 요약을 입력으로 사용하는 것이 성능을 더 높여 파이프라인 또는 다단계 접근의 이점을 시사한다.
• 인간-루프 평가에 따르면 자동화 이득에도 불구하고 인간의 선별과 적응형 시스템 설계 없이는 엔드 투 엔드 사용성이 여전히 제한적이다; 스니펫 수준 선택을 포함한 CRLC 조정 시스템은 오류를 줄였지만 여전히 상당한 편집이 필요했다.