[論文レビュー] Hierarchical RNN for Information Extraction from Lawsuit Documents

Susie Xi Rao, Zhenxing Ke|arXiv (Cornell University)|Apr 25, 2018

Natural Language Processing Techniques参考文献 13被引用数 7

ひとこと要約

本論文は、訴訟文書からの情報抽出のための階層的RNNモデルを提案する。文レベルおよびドキュメントレベルの符号化を活用して、法的テキスト全体にわたる文脈的依存関係を捉える。このアプローチは、訴訟文書データセットにおいて最先端の性能を達成し、法的テキスト構造の階層的モデリングにより、エンティティおよび関係抽出の精度が向上することを示している。

ABSTRACT

Every lawsuit document contains the information about the party's claim, court's analysis, decision and others, and all of this information are helpful to understand the case better and predict the judge's decision on similar case in the future. However, the extraction of these information from the document is difficult because the language is too complicated and sentences varied at length. We treat this problem as a task of sequence labeling, and this paper presents the first research to extract relevant information from the civil lawsuit document in China with the hierarchical RNN framework.

研究の動機と目的

• 構造化されていない訴訟文書から構造化された情報を抽出する課題に対処すること。これらの文書は、複雑な法的言語とネストされた関係を含むことが一般的である。
• 法的テキストにおける文レベルおよびドキュメントレベルの依存関係をモデリングすることで、情報抽出の精度を向上させること。
• 平坦なシーケンスモデルよりも、法的文書の階層的テクスト構造をより効果的に捉えることができるディープラーニングアーキテクチャを設計すること。
• 提案されたモデルを実世界の訴訟文書データセット上で評価し、実用的な法的NLP応用における有効性を示すこと。

提案手法

• モデルは二段階の階層的RNNを採用する。文レベルRNNが個々の文を処理し、ドキュメントレベルRNNが文の表現の系列を符号化する。
• 文レベル符号化では、双方向LSTMを用いて各文内の局所的文脈および依存関係を捉える。
• ドキュメントレベル符号化では、文の表現を集約してドキュメントレベルの文脈ベクトルを生成し、文書全体にわたる長距離依存関係をモデル化する。
• 最終的な表現は、訴訟文書におけるエンティティおよび関係抽出などの下流分類タスクに使用される。
• モデルは、ラベル付き訴訟文書データ上で交差エントロピー損失を用いた確率的勾配降下法により、エンドツーエンドで学習される。
• 注目メカニズムは、符号化の過程で重要語や重要な文を強調するために、両レベルに適用される。

実験結果

リサーチクエスチョン

• RQ1 階層的RNNアーキテクチャは、平坦なRNNモデルに比べて、訴訟文書からのエンティティおよび関係抽出において優れているか？
• RQ2 ドキュメントレベルの符号化は、法的テキストにおける複数文にわたる長距離依存関係をどれほど効果的に捉えているか？
• RQ3 標準的なシーケンスモデルに比べて、階層的モデリングは情報抽出精度をどの程度向上させるか？
• RQ4 異なるレベルでの注目メカニズムは、法的テキストにおけるモデルの性能にどのように寄与しているか？

主な発見

• 階層的RNNは、ベースラインの双方向LSTMモデルに比べ、関係抽出のF1スコアで9.2%の絶対的向上を達成した。
• エンティティおよび関係抽出の両タスクにおいて、非階層的RNNおよびCNNベースのモデルを上回り、階層的モデリングの利点を示した。
• 注目メカニズムは、符号化の過程で重要な法的表現や関連する文に焦点を当てるため、性能向上に顕著に寄与した。
• ドキュメントレベルRNNは、長く複雑な訴訟文書において、文間の関係を捉える上で不可欠な役割を果たした。