[论文解读] Enhancing Pre-Trained Language Models with Sentence Position Embeddings for Rhetorical Roles Recognition in Legal Opinions

Anas Belfathi, Nicolás Hernández+1 more|arXiv (Cornell University)|Oct 8, 2023

Artificial Intelligence in LawSocial Sciences被引用 3

一句话总结

本文提出通过引入绝对、归一化和k-分位数的句子位置嵌入，增强BERT模型，以提升法律意见中修辞角色识别的性能。通过将位置信息整合到单一BERT编码器或具有缩小上下文窗口的层次化模型中，该方法实现了79%的F1分数，优于先前的方法，并且计算成本更低，表现出更高的效率。

ABSTRACT

The legal domain is a vast and complex field that involves a considerable amount of text analysis, including laws, legal arguments, and legal opinions. Legal practitioners must analyze these texts to understand legal cases, research legal precedents, and prepare legal documents. The size of legal opinions continues to grow, making it increasingly challenging to develop a model that can accurately predict the rhetorical roles of legal opinions given their complexity and diversity. In this research paper, we propose a novel model architecture for automatically predicting rhetorical roles using pre-trained language models (PLMs) enhanced with knowledge of sentence position information within a document. Based on an annotated corpus from the LegalEval@SemEval2023 competition, we demonstrate that our approach requires fewer parameters, resulting in lower computational costs when compared to complex architectures employing a hierarchical model in a global-context, yet it achieves great performance. Moreover, we show that adding more attention to a hierarchical model based only on BERT in the local-context, along with incorporating sentence position information, enhances the results.

研究动机与目标

• 解决在长篇、非结构化法律意见中准确预测修辞角色的挑战。
• 克服标准预训练语言模型在处理超过512个标记的长法律文档时的局限性。
• 通过将句子位置信息融入BERT，提升修辞角色序列标注的性能。
• 评估不同位置编码方案（绝对、归一化、k-分位数）对模型性能的影响。
• 证明在层次化建模中减小上下文窗口大小，结合位置嵌入可提升性能。

提出的方法

• 将绝对、归一化和k-分位数的句子位置嵌入整合到BERT的输入表示中。
• 应用三种类型的位置编码：绝对（句子索引）、归一化（按文档长度缩放）和k-分位数（将文档划分为k个段落）。
• 设计一个层次化模型（HiBERT），使用BERT编码器进行句子级编码，以及一个浅层Transformer编码器处理局部句子上下文。
• 基于具有相同修辞角色标签的连续句子的平均长度，动态设置窗口大小。
• 在LegalEval@SemEval2023数据集上微调模型，以加权F1作为主要评估指标。
• 评估单编码器（BERT）和层次化（HiBERT）架构在不同位置编码类型和窗口大小下的表现。

实验结果

研究问题

• RQ1 在法律文本的修辞角色分类任务中，注入句子位置信息如何影响BERT的性能？
• RQ2 哪种句子位置编码方式——绝对、归一化或k-分位数——能取得最佳性能？
• RQ3 结合局部注意力机制和句子位置嵌入的层次化模型是否能优于标准BERT？
• RQ4 在层次化模型中减小上下文窗口大小是否能提升性能和效率？
• RQ5 将位置嵌入与局部上下文建模相结合，在多大程度上能增强长篇法律文档中的序列标注性能？

主要发现

• 采用绝对位置嵌入且窗口大小为4句的HiBERT模型，实现了最高的79% F1分数。
• 对句子位置进行归一化处理后，性能优于原始的绝对位置编码，BERT-NorPos的F1分数达到75%。
• 在分位数变体中，8等分的k-分位数方法表现最佳，但其性能仍低于归一化位置编码。
• 将层次化模型的上下文窗口从完整大小减小到平均句子簇大小的一半，显著提升了性能，尤其在使用绝对位置编码时效果更明显。
• HiBERT-AbsPosHalf模型实现了79%的F1分数，优于基线模型BERT-HSLN（79% F1），表明结合局部上下文与绝对位置编码是最优方案。
• 与复杂的层次化模型相比，该方法在参数量更少、计算成本更低的前提下实现了高性能，适用于实际部署。