[논문 리뷰] ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining

Mohamed Elaraby, Diane Litman|arXiv (Cornell University)|2022. 09. 04.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 특수 토큰을 사용하여 문제, 이유, 결론과 같은 논증 역할을 입력 시퀀스에 통합함으로써 추상적 요약의 성능을 향상시키는 ArgLegalSumm 방법을 제안한다. 실험 결과, Longformer에 예측된 논증 역할을 통합함으로써 기준 모델 대비 ROUGE 점수를 최대 0.41점 향상시켰으며, 특히 장문의 법적 문서에서 논증성과 요약 품질 향상이 두드러졌다.

ABSTRACT

A challenging task when generating summaries of legal documents is the ability to address their argumentative nature. We introduce a simple technique to capture the argumentative structure of legal documents by integrating argument role labeling into the summarization process. Experiments with pretrained language models show that our proposed approach improves performance over strong baselines

연구 동기 및 목표

• 표준 추상적 요약 모델이 포착하지 못하는 암묵적이고 분산된 논증적 구조를 지닌 법적 문서 요약의 과제를 해결하기 위해.
• 논증적 구조가 핵심이지만 종종 忽시되는 법적 텍스트에서 논증 마이닝과 추상적 요약 간 격차를 메우기 위해.
• 문서의 문장에 문제, 이유, 결론 등의 논증 역할 정보를 명시적으로 통합함으로써 추상적 요약 성능을 향상시키기 위해.
• 예측된 논증 역할이 성능 저하 없이 수동 레이블링을 효과적으로 대체할 수 있는지 평가하기 위해.

제안 방법

• 먼저, 법적 문서의 각 문장을 문제, 이유, 또는 결론 중 하나의 역할로 레이블링하기 위해 미세조정된 논증 역할 분류기를 사용한다.
• 원본 문서는 논증 역할이 레이블링된 문장 앞뒤에 특수 토큰(<IRC>, </IRC>)을 삽입하거나, 6개의 구체적인 역할 전용 토큰을 사용하여 증강한다.
• 증강된 입력은 사전 학습된 시퀀스-투-시퀀스 모델(예: Longformer-LED 또는 BART)에 입력되어 추상적 요약을 생성한다.
• 이중 표시 기반의 마커 체계와 역할 전용 마커 체계를 평가한다: 이중 마커(논증적 텍스트 강조), 전역 역할 전용 마커(각 역할 명시적 레이블링).
• 모델은 인간 레이블링된 요약과 논증 역할이 있는 캐나다 법적 사건 1,049건의 데이터셋을 기반으로 훈련 및 평가된다.
• ROUGE 점수와 분석을 통한 논증성 평가를 통해 생성된 요약을 기준 요약 및 논증적 문장 서브셋과 비교한다.

실험 결과

연구 질문

• RQ1 추상적 요약 모델의 입력에 논증 역할 정보를 통합하면 법적 문서 요약의 ROUGE 점수 향상에 기여하는가?
• RQ2 문제, 이유, 결론 등의 세분화된 역할 전용 토큰을 사용할 경우, 단순히 논증적 내용만 강조하는 이중 마커보다 성능 향상이 이루어지는가?
• RQ3 별도의 분류기를 통해 예측된 논증 역할을 사용할 경우와 수동으로 레이블링된 역할을 사용할 경우 모델 성능에 어떤 차이가 있는가?
• RQ4 Longformer의 확장된 컨텍스트 창과 같은 장기 입력 처리 능력이 모델의 논증적 구조 파악 능력에 영향을 미치는가?
• RQ5 생성된 요약이 기준 요약의 논증적 내용을 얼마나 반영하고 있는가? 수동으로 레이블링된 논증적 문장과의 겹침을 통해 측정한다.

주요 결과

• 수동 레이블링된 논증 역할을 사용할 경우, 6개의 역할 전용 마커를 사용한 arg-LED-base 모델은 기준 LED-base 모델 대비 ROUGE-1에서 1.0점, ROUGE-2에서 4.0점, ROUGE-L에서 1.5점 향상되었다.
• 2마커 체계(이중 강조)는 기준 모델 대비 ROUGE-2에서 4.0점 향상되었지만, ROUGE-1과 ROUGE-L에서는 성능 향상이 미미했다.
• arg-BART-Large는 기준 모델 대비 성능 향상이 없었는데, 이는 BART의 제한된 컨텍스트 창이 흩어진 논증 신호를 효과적으로 포착하지 못하기 때문으로 보인다.
• 수동 레이블링 대신 예측된 논증 역할을 사용할 경우 ROUGE 점수는 0.02~0.41점 하락에 그쳤으며, 이는 높은 강건성과 실용적 타당성을 시사한다.
• arg-LED-base 모델이 생성한 요약은 더 논증적이었으며, 기준 요약의 논증적 문장 서브셋과 유의미하게 높은 겹침을 보였다. 이는 본 방법이 핵심 논증 내용에 집중하고 있음을 확인한다.
• 기준 모델보다 요약 길이가 짧아졌는데, 이는 논증적 내용에 집중하고 비필수적 텍스트의 포함을 줄였다는 것을 시사한다.