[論文レビュー] Predicting the Outcome of Judicial Decisions made by the European Court of Human Rights

Conor O'Sullivan, Joeran Beel|arXiv (Cornell University)|Dec 16, 2019

Artificial Intelligence in Law参考文献 2被引用数 14

ひとこと要約

本研究では、欧州人権裁判所（ECHR）の判決が、欧州人権規約の特定の条項に違反するかどうかを予測するために機械学習を適用している。判決文に対してN-gram、単語埋め込み（echr2vec）、およびdoc2vecを用い、モデルはテスト精度68.83%を達成したが、単純なヒューリスティクス（多数クラス予測）は86.68%を記録し、それよりも優れた性能を示しており、法的NLP研究におけるより強力なベースラインの必要性を浮き彫りにしている。

ABSTRACT

In this study, machine learning models were constructed to predict whether judgments made by the European Court of Human Rights (ECHR) would lead to a violation of an Article in the Convention on Human Rights. The problem is framed as a binary classification task where a judgment can lead to a "violation" or "non-violation" of a particular Article. Using auto-sklearn, an automated algorithm selection package, models were constructed for 12 Articles in the Convention. To train these models, textual features were obtained from the ECHR Judgment documents using N-grams, word embeddings and paragraph embeddings. Additional documents, from the ECHR, were incorporated into the models through the creation of a word embedding (echr2vec) and a doc2vec model. The features obtained using the echr2vec embedding provided the highest cross-validation accuracy for 5 of the Articles. The overall test accuracy, across the 12 Articles, was 68.83%. As far as we could tell, this is the first estimate of the accuracy of such machine learning models using a realistic test set. This provides an important benchmark for future work. As a baseline, a simple heuristic of always predicting the most common outcome in the past was used. The heuristic achieved an overall test accuracy of 86.68% which is 29.7% higher than the models. Again, this was seemingly the first study that included such a heuristic with which to compare model results. The higher accuracy achieved by the heuristic highlights the importance of including such a baseline.

研究の動機と目的

• ECHR規約の12条のうち特定の条項に違反するかどうかを予測する機械学習モデルの開発。
• N-gram、単語埋め込み（echr2vec）、およびパaragraph埋め込み（doc2vec）といったさまざまなテクスト特徴抽出手法の有効性を、司法的結果の予測において評価すること。
• 保留されたテストセットを用いてモデルを評価することで、将来の研究のための現実的なベンチマークを確立すること。
• 訓練データにおける歴史的データの最も頻度の高い結果を常に予測する単純なヒューリスティクスと、モデルの性能を比較すること。

提案手法

• 問題は、ECHR規約の12条の各条項について、『違反』または『非違反』を予測する二値分類タスクとして定式化されている。
• ECHR判決文からN-gram、事前学習済み単語埋め込み、およびカスタムで訓練されたechr2vecモデルを用いてテキスト特徴量が抽出されている。
• ドキュメントレベルの埋め込みを生成するため、ECHR文書上でdoc2vecモデルが訓練されている。
• 自動スクラッチ（auto-sklearn）を用いて、12条すべての分類タスクにおいてアルゴリズム選択とハイパーパramータチューニングを自動化している。
• 交差検証と保留されたテストセットを用いてモデルを訓練および評価しており、現実的な性能推定が可能である。
• 訓練データにおける最も頻度の高い結果を常に予測するベースラインヒューリスティクスモデルが実装されている。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、ECHR判決が特定の人権条項に違反するかどうかを正確に予測できるか？
• RQ2 N-gram、echr2vec、またはdoc2vecのうち、どのテキスト特徴表現がECHR判決結果の予測性能を最も高めるか？
• RQ3 訓練済みモデルの性能は、単純な多数クラスヒューリスティクスベースラインと比べてどの程度か？
• RQ4 保留されたテストセットで評価した場合、このようなモデルの現実的な一般化精度はどの程度か？
• RQ5 一般用途向けの埋め込みとは対照的に、分野特化型埋め込み（echr2vec）は予測性能をどの程度向上させるか？

主な発見

• 12条すべてを対象とした機械学習モデルの全体的なテスト精度は68.83%であった。
• echr2vec単語埋め込みモデルは、12条のうち5つの条項について最高の交差検証精度を達成した。
• 多数クラスヒューリスティクスベースラインは、全体的なテスト精度86.68%を記録し、最良の機械学習モデルを大きく上回った。
• ヒューリスティクスの性能は、最良のモデルよりも29.7%高い結果を示しており、クラス不均衡が予測性能に強く影響していることが示された。
• 本研究は、保留されたテストセットを用いたECHR判決予測のための最初の現実的なベンチマークを提供しており、今後の研究の基準を定めた。
• 結果から、法的NLPモデルの評価において、強力で単純なベースラインを含める重要性が浮き彫りになった。