[논문 리뷰] Enhancing Pre-Trained Language Models with Sentence Position Embeddings for Rhetorical Roles Recognition in Legal Opinions

Anas Belfathi, Nicolás Hernández외 1명|arXiv (Cornell University)|2023. 10. 08.

Artificial Intelligence in LawSocial Sciences인용 수 3

한 줄 요약

이 논문은 법적 의견에서의 비문학적 역할 인식을 향상시키기 위해 BERT에 절대적, 정규화된, k-분위수 기반 문장 위치 임베딩을 도입한다. 단일 BERT 인코더 또는 더 작은 문맥 창 크기를 가진 계층적 모델에 위치 정보를 통합함으로써, 79%의 F1 스코어를 달성하며 기존 방법을 능가하고, 계산 비용이 낮아 효율적이다.

ABSTRACT

The legal domain is a vast and complex field that involves a considerable amount of text analysis, including laws, legal arguments, and legal opinions. Legal practitioners must analyze these texts to understand legal cases, research legal precedents, and prepare legal documents. The size of legal opinions continues to grow, making it increasingly challenging to develop a model that can accurately predict the rhetorical roles of legal opinions given their complexity and diversity. In this research paper, we propose a novel model architecture for automatically predicting rhetorical roles using pre-trained language models (PLMs) enhanced with knowledge of sentence position information within a document. Based on an annotated corpus from the LegalEval@SemEval2023 competition, we demonstrate that our approach requires fewer parameters, resulting in lower computational costs when compared to complex architectures employing a hierarchical model in a global-context, yet it achieves great performance. Moreover, we show that adding more attention to a hierarchical model based only on BERT in the local-context, along with incorporating sentence position information, enhances the results.

연구 동기 및 목표

• 긴 비구조화된 법적 의견에서 비문학적 역할을 정확하게 예측하는 데 도전한다.
• 표준 사전 훈련된 언어 모델이 512 토큰을 초과하는 장문의 법적 문서를 처리하는 데 한계를 극복한다.
• BERT에 문장 위치 정보를 통합하여 비문학적 역할 시퀀스 레이블링 성능을 향상시킨다.
• 다양한 위치 인코딩 방식(절대적, 정규화, k-분위수)이 모델 성능에 미치는 영향을 평가한다.
• 국소화된 주변 맥락과 함께 문장 위치 임베딩을 사용할 경우, 계층적 모델에서 성능 향상이 이루어지는지 입증한다.

제안 방법

• BERT의 입력 표현에 절대적, 정규화된, k-분위수 기반 문장 위치 임베딩을 통합한다.
• 세 가지 유형의 위치 인코딩을 적용한다: 절대적(문장 인덱스), 정규화(문서 길이로 스케일링), k-분위수(문서를 k개의 세그먼트로 나누기).
• 문장 수준의 인코딩을 위한 BERT 인코더와 국소 문장 맥락을 위한 얕은 트랜스포머 인코더를 갖춘 계층적 모델(HiBERT)을 설계한다.
• 동일한 비문학적 역할 레이블을 가진 연속 문장의 평균 길이에 기반한 동적 창 크기를 사용한다.
• 가중치 F1을 주요 지표로 사용하여 LegalEval@SemEval2023 데이터셋에서 모델을 미세조정한다.
• 다양한 위치 인코딩 유형과 창 크기를 가진 단일 인코더(BERT) 및 계층적 인코더(HiBERT) 아키텍처를 평가한다.

실험 결과

연구 질문

• RQ1 문장 위치 정보를 통합함으로써 BERT의 법적 텍스트 비문학적 역할 분류 성능에 어떤 영향을 미치는가?
• RQ2 절대적, 정규화, k-분위수 중 어떤 유형의 문장 위치 인코딩이 가장 높은 성능을 낼 수 있는가?
• RQ3 국소화된 어텐션과 문장 위치 임베딩을 결합한 계층적 모델이 이 작업에서 표준 BERT를 능가할 수 있는가?
• RQ4 계층적 모델의 문맥 창 크기를 줄이면 성능과 효율성이 향상되는가?
• RQ5 문장 위치 임베딩과 국소 맥락 모델링을 결합할 경우, 장문의 법적 문서에서 시퀀스 레이블링 성능에 얼마나 기여하는가?

주요 결과

• 절대 위치 임베딩을 사용하고 창 크기를 4개 문장으로 설정한 제안된 HiBERT 모델이 가장 높은 F1 스코어 79%를 기록했다.
• 문장 위치를 정규화함으로써 원본 절대 위치보다 성능 향상을 이뤘으며, BERT-NorPos에서는 F1 스코어 75%를 기록했다.
• 8개의 세그먼트로 나누는 k-분위수 접근 방식이 분위수 변형 중에서 가장 우수한 성능을 보였지만, 정규화된 위치보다는 열등했다.
• 계층적 모델의 문맥 창 크기를 전체 평균 문장 클러스터 크기의 절반으로 줄임으로써 성능 향상이 이루어졌으며, 특히 절대 위치를 사용할 경우 두드러졌다.
• HiBERT-AbsPosHalf 모델은 기준 BERT-HSLN 모델(79% F1)을 능가하는 79%의 F1 스코어를 기록하여, 국소 맥락과 절대 위치가 최적임을 입증했다.
• 복잡한 계층적 모델에 비해 더 적은 파라미터와 낮은 계산 비용으로 높은 성능을 달성하여, 실세계 적용에 있어 효율적임을 입증했다.