[論文レビュー] Identification of Rhetorical Roles of Sentences in Indian Legal Judgments

Paheli Bhattacharya, Shounak Paul+3 more|arXiv (Cornell University)|Nov 13, 2019

Artificial Intelligence in Law被引用数 37

ひとこと要約

本論文は、インド最高裁判決における7つの修辞的役割を持つ文のラベリングを行い、金標準の注釈コーパスを収集して、7クラスの連続ラベル付けにおいて深層ニューラルモデルが手工特徴CRFベースラインを上回ることを示す。

ABSTRACT

Automatically understanding the rhetorical roles of sentences in a legal case judgement is an important problem to solve, since it can help in several downstream tasks like summarization of legal judgments, legal search, and so on. The task is challenging since legal case documents are usually not well-structured, and these rhetorical roles may be subjective (as evident from variation of opinions between legal experts). In this paper, we address this task for judgments from the Supreme Court of India. We label sentences in 50 documents using multiple human annotators, and perform an extensive analysis of the human-assigned labels. We also attempt automatic identification of the rhetorical roles of sentences. While prior approaches towards this task used Conditional Random Fields over manually handcrafted features, we explore the use of deep neural models which do not require hand-crafting of features. Experiments show that neural models perform much better in this task than baseline methods which use handcrafted features.

研究の動機と目的

• インド最高裁判決における文レベルの修辞的役割を注釈付けした高品質な金標準コーパスを作成する。
• 7つの修辞的役割に対する人 annotator間の合意と主観性を法的専門家間で調査する。
• 法的テキストにおける自動7クラス文ラベル付けのためのニューラルモデルを開発・評価する。

提案手法

• 3名の注釈者を用いて、5分野に跨る50件の最高裁判決を7つの修辞ラベルで注釈する。
• GATE注釈を用いた厳格/寛容/平均F-scoreで注釈者間の一致を分析する。
• 文のラベル付けを7クラスの連続ラベル付け問題として扱う。
• 先行研究から抽出した手工特徴を用いたベースラインCRFモデルを実装する。
• 2つのニューラルアーキテクチャを開発する： (i) Hierarchical BiLSTM分類器、(ii) Hierarchical BiLSTM-CRF分類器。
• 大規模な法的文書集合で訓練されたランダムおよび事前学習済みの文 embeddings を用いて実験を行う。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルモデルは、手工特徴なしでインドの法的判決における文レベルの修辞的役割を自動的に識別できるか。
• RQ2 修辞的役割ラベリングにおける人間注釈者間の合意の程度はどの程度で、モデルの合意とどう比較されるか。
• RQ3 このタスクに対して事前訓練済みの領域特化埋め込みは、ランダム初期化より性能を向上させるか。
• RQ4 BiLSTMの上にCRF層を追加すると、長い法的文書の系列に対して有意な改善が得られるか。
• RQ5 モデルはインド司法内の異なる法域間でどれだけ一般化できるか。

主な発見

• ニューラルモデルは、手工特徴を用いたCRFベースラインをマクロFスコアで有意に上回る（例：Hier-BiLSTM-CRF with pretrained embeddingsで最大約0.82～0.82超）。
• 事前訓練済みの法的領域埋め込みは、ニューラルモデルの両方に対してランダム初期化より性能を大幅に向上させる。
• 長いシーケンスと限られたデータを背景に、Hier-BiLSTM-CRFはこの設定でHier-BiLSTMに比べて僅かな利得しかない。
• 最高のモデルは5つの領域全体で一貫した性能を維持（0.82～0.86のマクロFスコア範囲）、ただし Labour & Industrial法分野ではIAAが低かった。
• 特定のラベルペア（例：Ratio vs. PRE/Fac）には人間注釈者の主観性が大きく、モデルの混乱と一致している。
• 合意分析は、モデルの性能が人間の不一致パターンと一致することを示しており、いくつかのラベルペアには固有の主観性があることを示す。