[論文レビュー] Enhancing Pre-Trained Language Models with Sentence Position Embeddings for Rhetorical Roles Recognition in Legal Opinions

Anas Belfathi, Nicolás Hernández+1 more|arXiv (Cornell University)|Oct 8, 2023

Artificial Intelligence in LawSocial Sciences被引用数 3

ひとこと要約

本稿では、法的意見における修辞的役割認識の向上を目的として、BERTに絶対的、正規化済み、k-分位数の3種類の文位置埋め込みを組み込む手法を提案する。1つのBERTエンコーダーまたは文脈窓を小さくした階層的モデルに位置情報を統合することで、79%のF1スコアを達成し、先行手法を上回り、計算コストも低いという優れた効率性を示している。

ABSTRACT

The legal domain is a vast and complex field that involves a considerable amount of text analysis, including laws, legal arguments, and legal opinions. Legal practitioners must analyze these texts to understand legal cases, research legal precedents, and prepare legal documents. The size of legal opinions continues to grow, making it increasingly challenging to develop a model that can accurately predict the rhetorical roles of legal opinions given their complexity and diversity. In this research paper, we propose a novel model architecture for automatically predicting rhetorical roles using pre-trained language models (PLMs) enhanced with knowledge of sentence position information within a document. Based on an annotated corpus from the LegalEval@SemEval2023 competition, we demonstrate that our approach requires fewer parameters, resulting in lower computational costs when compared to complex architectures employing a hierarchical model in a global-context, yet it achieves great performance. Moreover, we show that adding more attention to a hierarchical model based only on BERT in the local-context, along with incorporating sentence position information, enhances the results.

研究の動機と目的

• 長く構造のない法的意見における修辞的役割を正確に予測する課題に対処すること。
• 標準的な事前学習済み言語モデルが512トークンを超える長大な法的文書を処理する際の限界を克服すること。
• BERTに文の位置情報を組み込むことで、修辞的役割の系列ラベル付けの性能を向上させること。
• 絶対的、正規化済み、k-分位数の3種類の位置符号化方式がモデル性能に与える影響を評価すること。
• 局所的な注意機構と文の位置埋め込みを組み合わせた小さな文脈窓を有する階層的モデルが、このタスクで標準BERTを上回ることを示すこと。

提案手法

• BERTの入力表現に、絶対的、正規化済み、k-分位数の3種類の文位置埋め込みを統合する。
• 3種類の位置符号化を適用：絶対的（文インデックス）、正規化済み（文書長さでスケーリング）、k-分位数（文書をk個のセグメントに分割）。
• 文レベルの符号化にBERTエンコーダーを用い、局所的な文脈を処理するための浅いTransformerエンコーダーを備えた階層的モデル（HiBERT）を設計する。
• 同じ修辞的役割ラベルを持つ連続する文の平均長に基づいて、動的な窓サイズを設定する。
• 重み付きF1を主な指標として用い、LegalEval@SemEval2023データセット上でモデルを微調整する。
• 位置符号化の種別と窓サイズを変化させた、単一エンコーダー（BERT）および階層的（HiBERT）アーキテクチャの両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 文の位置情報をBERTに組み込むことで、法的テキストにおける修辞的役割分類の性能にどのような影響を与えるか？
• RQ2 絶対的、正規化済み、k-分位数のうち、どの位置符号化方式が最も優れた性能を示すか？
• RQ3 局所的注意機構と文の位置埋め込みを組み合わせた階層的モデルは、このタスクで標準BERTを上回ることができるか？
• RQ4 階層的モデルの文脈窓サイズを小さくすることで、性能と効率性が向上するか？
• RQ5 位置埋め込みと局所的文脈モデリングを組み合わせることで、長大な法的文書における系列ラベル付けの性能はどの程度向上するか？

主な発見

• 絶対的位置埋め込みと4文の窓サイズを採用した提案されたHiBERTモデルが、79%の最高F1スコアを達成した。
• 文の位置を正規化することで、元の絶対的位置よりも性能が向上し、BERT-NorPosでは75%のF1スコアを記録した。
• k-分位数法のうち8分割の設定が最も優れた結果を示したが、正規化済み位置埋め込みに比べて性能は劣った。
• 階層的モデルの文脈窓サイズを、平均文クラスターサイズの半分にまで縮小することで性能が向上し、特に絶対的位置埋め込みの場合顕著だった。
• HiBERT-AbsPosHalfモデルが79%のF1スコアを達成し、ベースラインのBERT-HSLNモデル（79% F1）を上回った。これは、絶対的位置情報と局所的文脈が最適な組み合わせであることを示している。
• 複雑な階層的モデルと比較して、パラメータ数が少なく、計算コストも低く抑えられたため、実世界の展開においても効率的であることが示された。