[論文レビュー] Dependency Learning for Legal Judgment Prediction with a Unified Text-to-Text Transformer

Yunyun Huang, Xiaoyu Shen+3 more|arXiv (Cornell University)|Dec 13, 2021

Artificial Intelligence in Law被引用数 12

ひとこと要約

本稿では、T5に基づく統一的テキストtoテキスト変換器を提案し、法的判断予測のための自動回帰的生成によって、法条項、罪名、罰則の間の依存関係をモデル化する。一般ドメインのテキストで事前学習されているにもかかわらず、ドメイン特化モデルやSOTA手法を上回り、特に低頻度ラベルにおいて顕著な性能向上を示す。同時に、裁判所の視点や法条項の内容生成といった補助タスクを用いることで、予測の解釈可能性を向上させている。

ABSTRACT

Given the fact of a case, Legal Judgment Prediction (LJP) involves a series of sub-tasks such as predicting violated law articles, charges and term of penalty. We propose leveraging a unified text-to-text Transformer for LJP, where the dependencies among sub-tasks can be naturally established within the auto-regressive decoder. Compared with previous works, it has three advantages: (1) it fits in the pretraining pattern of masked language models, and thereby can benefit from the semantic prompts of each sub-task rather than treating them as atomic labels, (2) it utilizes a single unified architecture, enabling full parameter sharing across all sub-tasks, and (3) it can incorporate both classification and generative sub-tasks. We show that this unified transformer, albeit pretrained on general-domain text, outperforms pretrained models tailored specifically for the legal domain. Through an extensive set of experiments, we find that the best order to capture dependencies is different from human intuitions, and the most reasonable logical order for humans can be sub-optimal for the model. We further include two more auxiliary tasks: court view generation and article content prediction, showing they can not only improve the prediction accuracy, but also provide interpretable explanations for model outputs even when an error is made. With the best configuration, our model outperforms both previous SOTA and a single-tasked version of the unified transformer by a large margin.

研究の動機と目的

• 従来の手法が法的判断のサブタスクを独立または暗黙的に共有するのを回避し、それらの間の明示的依存関係をモデル化すること。
• 分類タスクと生成タスクの両方をサポートする、単一の統一アーキテクチャを構築し、パラメータの完全共有を可能とすること。
• 少数の例での一般化性能を向上させるとともに、過去のモデルが一貫して過学習を起こす低頻度ラベルの性能を改善すること。
• 補助タスク（裁判所の視点、法条項の内容生成）を導入することで、予測の解釈可能性を高めること。
• 依存関係学習のための最適なサブタスク順序を調査し、人間の直感的論理順序に挑戦すること。

提案手法

• 各サブタスクを訓練中に再構築すべきマスクされたスパンとして扱う、統一的T5ベースのテキストtoテキスト変換器を採用する。
• サブタスクを特定の自己回帰的順序で予測することで、逐次的生成を通じて依存関係を学習する。
• 元の法的判断文書の構造を意味的プロンプトとして用い、T5の事前学習目的と整合させる。
• 補助タスク（裁判所の視点生成、法条項内容予測）を共同で学習させることで、主タスクの性能向上と説明トレースの提供を実現する。
• すべてのサブタスクにわたる完全なパラメータ共有を活用し、タスク固有のヘッドを排除することで、モデルの複雑さを低減する。
• 推論時、生成されたシーケンスを分類ラベルにマッピングすることで評価を行い、エンドツーエンドの単純性を保持する。

実験結果

リサーチクエスチョン

• RQ1 法的判断予測におけるサブタスク依存関係学習の最適な順序は何か？また、人間の論理的直感と一致するか？
• RQ2 単一の統一的テキストtoテキスト変換器が、分類と生成の両方の多様なサブタスクをパラメータ共有で効果的にモデル化できるか？
• RQ3 補助タスクを共同で学習させることで、法的判断予測の精度と解釈可能性が向上するか？
• RQ4 少数の例設定下でのモデルの性能は？特に低頻度ラベルにおいてどうか？
• RQ5 誤った予測であっても、補助出力によって予測の説明を生成できるか？

主な発見

• 統一的テキストtoテキスト変換器は、過去のSOTAモデルや同アーキテクチャの単一タスク版を上回り、特にマクロF1スコアで顕著な性能向上を示し、低頻度ラベルに対する強い一般化能力を示している。
• 少数の例での学習性能が優れており、たった数100件の訓練例でも良好に一般化している。
• モデルの最適なサブタスク順序は人間の論理的直感とは異なり、論理的順序よりも誤差伝搬の最小化を優先する。
• 裁判所の視点生成は、予測精度の向上に加え、誤りが生じた場合でさえも、予測に対する解釈可能な根拠を提供する。
• 法条項の内容予測は、記事予測の性能を著しく向上させ、専用のテキストマッチングモデルを精度面で上回りながら、数百倍も高速である。
• 補助タスクによる説明の生成能力は、透明性と信頼性の高い法的AIシステムへの道筋を示している。