[論文レビュー] Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents

Chaojun Xiao, Xueyu Hu+3 more|arXiv (Cornell University)|May 9, 2021

Artificial Intelligence in Law参考文献 33被引用数 15

ひとこと要約

Lawformer は、長文の中国語法的文書を処理することを目的とした Longformer をベースにした事前学習言語モデルであり、局所的なスライディングウィンドウアテンションとグローバルなタスク固有のアテンションを活用して数千トークンの処理を可能にしている。長文入力においても標準モデルを上回る性能を発揮するとともに、短い入力でも高い性能を維持し、判決予測、ケース検索、読解理解といった法的タスクで最先端の性能を達成した。

ABSTRACT

Legal artificial intelligence (LegalAI) aims to benefit legal systems with the technology of artificial intelligence, especially natural language processing (NLP). Recently, inspired by the success of pre-trained language models (PLMs) in the generic domain, many LegalAI researchers devote their effort to apply PLMs to legal tasks. However, utilizing PLMs to address legal tasks is still challenging, as the legal documents usually consist of thousands of tokens, which is far longer than the length that mainstream PLMs can process. In this paper, we release the Longformer-based pre-trained language model, named as Lawformer, for Chinese legal long documents understanding. We evaluate Lawformer on a variety of LegalAI tasks, including judgment prediction, similar case retrieval, legal reading comprehension, and legal question answering. The experimental results demonstrate that our model can achieve promising improvement on tasks with long documents as inputs.

研究の動機と目的

• 標準的な事前学習言語モデルが処理に不適切である、512トークンを超える長大な中国語法的文書を効果的に処理する課題に対処すること。
• 刑事および民事事件の両方の文書理解に特化したドメイン特化型の事前学習言語モデルを開発すること。
• 判決予測、ケース検索、読解理解、質問応答を含む多様な LegalAI タスクにおいて、モデルの性能を評価すること。
• 刑事および民事事件の両方をバランスよくカバーする、新たな大規模データセットを構築し、実世界のデータ分布のカバレッジを向上させること。
• 長期間にわたる文書理解の能力が、長大な法的文書の深い理解を要するタスクにおいて顕著に性能を向上させることを実証すること。

提案手法

• 局所的なスライディングウィンドウ自己アテンションと選択的グローバルアテンションを組み合わせた Longformer アーキテクチャを採用し、長序列処理を効率的に行う。
• 数千万件にのぼる中国語の刑事および民事事件文書のコーパスを用いて Lawformer を事前学習する。
• 質問応答タスクにおける質問など、重要なトークンにのみグローバルアテンションを適用することで、完全な自己アテンションのコストを抑えたまま長距離依存関係を保持する。
• 標準的な分類およびシーケンスラベル付けヘッドを用いて、下流の LegalAI タスクで微調整する。
• 刑事および民事事件の両方をバランスよくカバーするように設計された、法的判決予測用の新たなデータセットを構築し、データ分布の現実性を向上させる。
• 類似したケース検索、法的読解理解、法的質問応答の既存ベンチマークで微調整することで、トランスファーラーニングを適用する。

実験結果

リサーチクエスチョン

• RQ1 標準的なPLMが直面する序列長制限を克服し、数千トークンにのぼる中国語法的文書を効果的に処理できる事前学習言語モデルは実現可能か？
• RQ2 長文入力シーケンスを扱う法的タスクにおいて、Lawformer の性能は RoBERTa や BERT ベースモデルと比べてどの程度優れているか？
• RQ3 法的文書に特化したドメイン内事前学習が、法的判決予測およびその他の法的NLPタスクの性能にどの程度向上効果をもたらすか？
• RQ4 キーデータセグメント（例：質問）にグローバルアテンションを統合することで、法的質問応答および読解理解における推論性能が向上するか？
• RQ5 Lawformer は、長文入力と短文入力の両方をカバーする多様な法的タスクに一般化可能であり、一貫した性能向上を示せるか？

主な発見

• 法的読解理解タスクにおいて、Lawformer は 55.02% の EM および 69.98% の F1 を達成し、RoBERTa（53.81% EM、68.86% F1）および L-RoBERTa（54.12% EM、69.76% F1）を上回り、優れた長文理解能力を示した。
• 法的質問応答タスクでは、単一回答質問で 45.81% の正答率、全質問で 27.43% の正答率を記録し、L-RoBERTa をわずかに上回り、タスクの複雑さにもかかわらず高い性能を発揮した。
• 特に、外部ドメインコーパスで事前学習されたモデルと比較して、長文を含む判決予測タスクにおける性能が顕著に向上した。
• 短い入力でも競争力のある性能を維持しており、短いシーケンスタスクにおいて RoBERTa と同等の結果を達成しており、入力長にかかわらず高い堅牢性を示した。
• 刑事および民事事件の両方をカバーする新たな法的判決予測データセットは、既存のデータセットよりも現実的でより良い一般化を可能にする。
• 広範なアブレーション実験から、キーデータ（例：質問）にグローバルアテンションを適用することが、長文理解タスクの性能維持に不可欠であることが明らかになった。