[論文レビュー] Predicting Brazilian court decisions

André Lage Freitas, Héctor Allende‐Cid+2 more|arXiv (Cornell University)|Apr 20, 2019

Artificial Intelligence in Law被引用数 8

ひとこと要約

本稿では、4,043件の事例を含むデータセット（結果ラベル：yes、no、partial、判決の一致の有無を含む）を用いて、ブラジルの裁判所の判決を予測する機械学習手法を提示している。自然言語処理（NLP）と教師あり学習を活用し、アラゴアス州裁判所（Tribunal de Justiça de Alagoas）の判例文を対象として、一貫性のある判決の予測精度が98.46％に達するが、これはクラス不均衡に起因する。バランスの取れたサブセットでは、この数値は76.94％に低下する。

ABSTRACT

Predicting case outcomes is useful but still an extremely hard task for attorneys and other Law professionals. It is not easy to search case information to extract valuable information as this requires dealing with huge data sets and their complexity. For instance, the complexity of Brazil legal system along with the high litigation rates makes this problem even harder. This paper introduces an approach for predicting Brazilian court decisions which is also able to predict whether the decision will be unanimous. We developed a working prototype which performs 79% of accuracy (F1-score) on a data set composed of 4,043 cases from a Brazilian court. To our knowledge, this is the first study to forecast judge decisions in Brazil.

研究の動機と目的

• 法的専門家による事案戦略と意思決定支援を目的として、ブラジルの裁判所判決を予測するモデルを開発すること。
• 特に上訴裁判所のAcórdãosに見られる、法律文書の高レベルの複雑さと膨大な量の課題に対処すること。
• 判決の結果（yes、no、partial）と、判決が一貫性を持つかどうかを予測すること。
• 事案概要のみを入力とすることで、法的専門家が簡単に利用可能な動作プロトタイプを構築すること。
• ブラジルにおける法的結果予測の基準を確立すること。本分野における先行研究が限られている中で、基盤を構築すること。

提案手法

• 本手法は、特にAcórdãosの「Report」と「Fundamentos」のセクションから特徴を抽出する自然言語処理（NLP）を用いる。
• 4,043件の事例からなるデータセットを用い、判決の結果と一貫性の有無をラベル付けした教師あり機械学習モデルを訓練する。
• 3つの結果ラベル（yes、no、partial）を予測する多クラス分類フレームワークを採用する。
• 一貫性の有無の予測には、判決が一貫性を持つか、そうでないかを分類する。これは、一貫性を持つ判決の頻度が非常に高いことに起因する。
• 重複や関係のないラベル（例：prejudicada、not-cognized）を除去するためのデータ前処理を実施し、一貫性予測に使用可能な2,274件の事例が得られた。
• 評価にはF1スコアを主な指標とし、データ分布バイアスへの感受性を評価するために、クラスバランスの取れたサブセットを用いたアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 テキストによる事案要約に基づいて、ブラジルの裁判所判決を機械学習モデルが正確に予測できるか？
• RQ2 ブラジルの裁判所判決が一貫性を持つかどうかをモデルが予測できるか？
• RQ3 データセットにおけるクラス不均衡が、一貫性予測のパフォーマンスに与える影響は何か？
• RQ4 データ分布をよりバランスさせる場合、モデルのパフォーマンスは安定するか？
• RQ5 本アプローチは、類似した意思決定構造を持つ他の法制度にも一般化可能か？

主な発見

• 本モデルは、4,043件のブラジルの裁判所事例を対象に、結果の予測において79％のF1スコアを達成した。
• 一貫性のある判決予測において、2,274件のデータセットを用いて98.46％のF1スコアを達成したが、これは一貫性を持つ判決の頻度が非常に高いことに起因する。
• 一貫性のある判決とそうでない判決の数が等しくなるようにバランスを取ったデータセットで評価したところ、一貫性予測のF1スコアは76.94％に達した。
• 元のデータが一様に分布していない状態でも、モデルのパフォーマンスが安定しており、結果予測におけるクラス不均衡へのロバストネスが示された。
• 本研究は、機械学習を用いてブラジルの裁判所判決を予測する初の試みであり、ブラジルにおける法的テクノロジー応用の基盤を築いた。
• プロトタイプは、他の言語や法制度への拡張性を備えており、法的実務ツールへの統合の可能性を有する。