[論文レビュー] Semantic Segmentation of Legal Documents via Rhetorical Roles

Vijit Malik, Rishabh Sanjay+5 more|arXiv (Cornell University)|Dec 3, 2021

Artificial Intelligence in Law被引用数 4

ひとこと要約

本稿では、13の修辞的役割（例：事実、主張、判決）を含む、インドの法的判決をアノテートした新しいコーパスを紹介し、長く構造のない法的テキストの意味的セグメンテーションを可能にする。ドキュメント全体の修辞的役割のシフトを補助タスクとして用いるマルチタスク学習モデルを提案し、修辞的役割予測において優れた性能（マクロF1スコア0.68）を達成するとともに、ドメイン転送およびモデル蒸留のシナリオにおいても頑健性を示した。

ABSTRACT

Legal documents are unstructured, use legal jargon, and have considerable length, making them difficult to process automatically via conventional text processing techniques. A legal document processing system would benefit substantially if the documents could be segmented into coherent information units. This paper proposes a new corpus of legal documents annotated (with the help of legal experts) with a set of 13 semantically coherent units labels (referred to as Rhetorical Roles), e.g., facts, arguments, statute, issue, precedent, ruling, and ratio. We perform a thorough analysis of the corpus and the annotations. For automatically segmenting the legal documents, we experiment with the task of rhetorical role prediction: given a document, predict the text segments corresponding to various roles. Using the created corpus, we experiment extensively with various deep learning-based baseline models for the task. Further, we develop a multitask learning (MTL) based deep model with document rhetorical role label shift as an auxiliary task for segmenting a legal document. The proposed model shows superior performance over the existing models. We also experiment with model performance in the case of domain transfer and model distillation techniques to see the model performance in limited data conditions.

研究の動機と目的

• インドの判例における長く構造のない、専門用語が多く含まれる法的文書の処理という課題に対処し、自動化された法的情報抽出や意思決定を妨げる要因を解消すること。
• 多様な法的分野をカバーする法律専門家によるアノテーションを経て、13の修辞的役割ラベル（例：問題提起、判例根拠、先例）を細分化した新しいコーパスを構築すること。
• ドキュメント全体のラベルシフトを補助信号として活用することで、修辞的役割予測の性能を向上させるマルチタスク学習モデルの開発と評価。
• 法的サブドメイン（例：IT/CL）間でのモデル一般化を評価し、未ラベル付きデータを用いたモデル蒸留によるデータ効率性の向上を検討すること。
• 修辞的役割が下流の法的NLPタスク（例：判決予測）にどのように有用であるかを示し、ゴールラベルまたは予測ラベルのセグメントを用いた性能向上を提示すること。

提案手法

• 複数の法的分野（例：IT、刑事法）にまたがる100件のインド判決文書を、13の意味的に整合性のある修辞的役割でアノテートし、専門家によるアノテーションとアノテーター間整合性で検証した。
• 新コーパス上で修辞的役割のシーケンスラベリングを目的とした、複数の深層学習ベースライン（例：BiLSTM-CRF、BERT）の訓練と比較。
• 主タスクは修辞的役割予測、補助タスクはドキュメント全体における修辞的役割分布のシフト予測であるマルチタスク学習（MTL）フレームワークを提案。
• 大規模で高性能な教師モデル（MTL-BiLSTM-CRF）から、より小さな生徒モデルへ知識蒸留を適用し、限られたラベル付きデータでの性能向上を図った。
• 法的ドキュメントの最後の512トークンにBERTモデルを微調整し、判決予測の性能を評価。この際、最後の512トークンのみを使用する場合と、ゴールまたは予測された修辞的役割セグメント（例：ROD、RPC）のみを使用する場合を比較した。

実験結果

リサーチクエスチョン

• RQ1 13役割の細分化された修辞的役割アノテーションスキームは、粗いスキームと比較して、長く複雑な法的判決の意味的セグメンテーションを改善できるか？
• RQ2 マルチタスク学習フレームワークにおいて、ドキュメント全体の修辞的役割シフトを補助タスクとして組み込むことで、修辞的役割予測モデルの性能が向上するか？
• RQ3 提案されたMTLモデルは、未学習の法的サブドメイン（例：ITから刑事法）に転送された場合、どの程度頑健であるか？
• RQ4 ラベル付きデータが限られる状況において、モデル蒸留はどの程度性能向上に寄与するか？また、ドメイン全体にわたる一般化性能が向上するか？
• RQ5 修辞的役割セグメンテーションは、下流の法的NLPタスク（例：判決予測）を改善できるか？予測された役割を使用した場合、ゴールスタンダードラベルを使用した場合と同等の結果が得られるか？

主な発見

• 提案されたマルチタスク学習モデルは、修辞的役割予測タスクでマクロF1スコア0.68を達成し、既存のベースラインモデルを上回った。
• 1回の蒸留イテレーション後にRLC（法的結論の根拠）ラベルでF1スコアが0.11向上し、ラベル分散の低減にも寄与した。
• モデル蒸留は全ラベルで性能向上をもたらし、2回の蒸留ステップを経た最良のイテレーションでマクロF1スコアが0.72に達した。
• ゴール修辞的役割セグメント（RODおよびRPC）を用いた判決予測では、最後の512トークンのみを使用した場合のF1スコア0.55から0.58に上昇し、統計的有意性（p ≤ 0.05）を示した。
• MTLモデルで予測されたRODおよびRPCセグメントを用いることで、全ドキュメントで微調整されたBERTモデルと同等の判決予測性能が得られ、下流タスクにおける強力な実用性を示した。
• モデルはドメイン転送においても頑健であり、再トレーニングなしにIT分野から刑事法分野へ効果的に一般化した。