[論文レビュー] LawSum: A weakly supervised approach for Indian Legal Document Summarization

Vedant Parikh, Vidit Mathur+3 more|arXiv (Cornell University)|Oct 4, 2021

Artificial Intelligence in Law被引用数 12

ひとこと要約

本稿では、インド最高裁判所の判例10,764件を収集した新規に整備されたデータセットと手書きの要約ノートを用いて、弱教師ありアプローチであるLawSumを提案する。この手法は、疑似関連スコアを用いて要約に適した文を自動でラベル付けし、クラス不均衡を解消するためのフォーカル損失を用いたニューラル分類器を訓練することで、ROUGE-F1スコア0.619を達成し、強力な抽出的ベースラインを著しく上回る結果を得た。

ABSTRACT

Unlike the courts in western countries, public records of Indian judiciary are completely unstructured and noisy. No large scale publicly available annotated datasets of Indian legal documents exist till date. This limits the scope for legal analytics research. In this work, we propose a new dataset consisting of over 10,000 judgements delivered by the supreme court of India and their corresponding hand written summaries. The proposed dataset is pre-processed by normalising common legal abbreviations, handling spelling variations in named entities, handling bad punctuations and accurate sentence tokenization. Each sentence is tagged with their rhetorical roles. We also annotate each judgement with several attributes like date, names of the plaintiffs, defendants and the people representing them, judges who delivered the judgement, acts/statutes that are cited and the most common citations used to refer the judgement. Further, we propose an automatic labelling technique for identifying sentences which have summary worthy information. We demonstrate that this auto labeled data can be used effectively to train a weakly supervised sentence extractor with high accuracy. Some possible applications of this dataset besides legal document summarization can be in retrieval, citation analysis and prediction of decisions by a particular judge.

研究の動機と目的

• インドの法的テキストにおける大規模かつ公開可能で構造化されたアノテーションデータセットの不足が、法的アナリティクス研究を阻害しているという問題に対処すること。
• ノイズの多いインドの法的判例に対して、省略語の正規化、固有表現における綴りのばらつきの是正、正確な文分割を実行する前処理パイプラインの開発。
• 要約に適した文を特定する弱教師あり手法の構築。これは、要約ノートとの整合性に基づいて自動生成されたラベルを用いる。
• 弱教師ありニューラルモデルが、インドの法的テキストにおいて強力な抽出的要約ベースラインを上回ることの実証。
• 要約を超えた幅広い応用、例えば修辞的役割ラベリング、引用分析、判例検索の支援を可能にすること。

提案手法

• 著者らは、公開記録から10,764件のインド最高裁判所判例を収集し、法的省略語の正規化および固有表現の綴りのばらつきの是正を施した前処理を実施した。
• 各判例は文に分割され、先行研究の事前学習済みモデルを用いて修辞的役割ラベルが付与された。
• 要約に適した文を自動ラベル付けするための疑似関連スコアリング機構が開発された。これは、対応する要約ノートとの重複度に基づく。
• クラス不均衡を緩和するため、要約に適した文に4倍のバイアスをかけるフォーカル損失を用いてニューラル文分類器を訓練した。
• ROUGE-F1スコアの最大化を目的に、アンダーサンプリングとしきい値最適化（0.5～0.85）を用いたファインチューニングを実施した。
• 最終的な要約生成システムは、分類器の出力をもとに文を選択するが、明示的な長さ制約は設けない。

実験結果

リサーチクエスチョン

• RQ1 要約ノートのみを監視信号として用いる弱教師ありアプローチが、インドの法的判例における要約に適した文を効果的に同定できるか。
• RQ2 ニューラル分類器の性能は、インドの法的テキストにおいて、LexRank、LSA、Greedy-KLといった従来の抽出的要約手法と比べてどうか。
• RQ3 提案手法の汎用性は、憲法法、知的財産権、刑法といった異なる法的分野においてどの程度実現できるか。
• RQ4 1950年から1993年までの変化する言語使用傾向を考慮すると、時間的経過に伴うモデルの性能はどのようになるか。
• RQ5 提案されたデータセットとパイプラインは、要約を超えて、修辞的役割ラベリングや引用分析といった下流タスクを支援できるか。

主な発見

• 提案された弱教師ありニューラルモデルは、ROUGE-F1スコア0.619を達成し、LexRank（0.542）、LSA（0.540）、Greedy-KL（0.538）といった強力なベースラインを著しく上回った。
• モデルは法的分野全体にわたり優れた汎用性を示し、知的財産権分野で最高の性能（ROUGE-F1: 0.697）を記録し、労働法・産業法分野でも高い結果（0.676）を示した。
• 1950年～1955年の期間ではやや性能が低下したが、これは古めいた言語スタイルへの適応の難しさを示唆しており、他の時間帯では安定した性能を維持した。
• 文の長さではなく単語数に基づく長さ制御を採用したアプローチ（例：アプローチ5）は、インドの判例に一般的に見られる平均150語の長い文を考慮し、より高い適合率（例：0.558）を達成した。
• 本データセットは、現在までに公開されている最大のインド法的テキストのアノテート済みコーパスであり、判例番号、判事、当事者、法的根拠などの豊富なメタデータを含む。
• 著者らは、モデルの性能が多様なサブドメインおよび時間的領域にわたり安定しており、法的NLP応用分野における実用的価値が裏付けられていると確認した。