[論文レビュー] Legal Area Classification: A Comparative Study of Text Classifiers on Singapore Supreme Court Judgments

Jerrold Soh, Lim How Khang+1 more|arXiv (Cornell University)|Apr 13, 2019

Artificial Intelligence in Law参考文献 20被引用数 5

ひとこと要約

本研究は、シンガポール上訴裁判所の判決文を31の法的分野に分類する際、最先端のNLPモデル（BERT、単語埋め込み、LSA）を従来の統計的モデルと比較して評価する。深層学習がNLPで優位を占める中、LSAベースのモデルは精度においてニューラルネットワークを上回ったが、BERTとGloVe-CNNは再現率において優れた性能を示し、長大な法的文書に対してドメイン特化型の微調整が必要であることが示唆された。

ABSTRACT

This paper conducts a comparative study on the performance of various machine learning (``ML'') approaches for classifying judgments into legal areas. Using a novel dataset of 6,227 Singapore Supreme Court judgments, we investigate how state-of-the-art NLP methods compare against traditional statistical models when applied to a legal corpus that comprised few but lengthy documents. All approaches tested, including topic model, word embedding, and language model-based classifiers, performed well with as little as a few hundred judgments. However, more work needs to be done to optimize state-of-the-art methods for the legal domain.

研究の動機と目的

• シンガポール上訴裁判所の判決文を法的分野に分類する際、現代のNLPモデルと従来の統計的モデルの性能を評価すること。
• データ不足と文書長さが、法的NLPにおけるテキスト分類器の性能に与える影響を調査すること。
• BERT や ULMBERT といった最先端の深層学習モデルが、少数で長大な判決文を含む法的コーパスに一般化できるかどうかを評価すること。
• 31の法的分野にラベル付けされた6,227件のシンガポール上訴裁判所判決文からなる新規データセットを用いて、法的分野分類のベンチマークを確立すること。
• キーワードベースのベースラインが、再現率が重視される法的リトリーブタスクにおいて強力な競合対象となり得るかどうかを検討すること。

提案手法

• 本研究は、31の一般的な判例法的分野に手動でラベル付けされた6,227件のシンガポール上訴裁判所判決文からなる新規データセットを用いる。
• テキスト分類モデルには、従来のアプローチ（LSA、TF-IDFに線形SVMを適用）、単語埋め込み（GloVe、CNN、平均/最大プーリング）、トランスフォーマー基盤モデル（BERT-base、BERT-large、ULMBERT）が含まれる。
• データ効率性を評価するために、全データセットの10%、50%、100%のサブセットを用いてモデルを学習・評価する。
• 性能は、マイクロおよびマクロの精度と再現率で測定され、25語の法的オントロジーを用いたキーワードベースのベースライン（count_25）が導入される。
• 入力長の制限に対処するため、BERTなどのモデルが全長のテキストを処理できない場合、長大な判決文を切り分けたり切断したりする処理が実施される。
• 公平な比較を保つために、すべてのモデルはハイパーパrameterチューニングなしで、そのままの状態で評価される。

実験結果

リサーチクエスチョン

• RQ1 最先端のNLPモデルは、従来の統計的モデルと比較して、法的分野に分類する際の性能にどのような差を示すか？
• RQ2 少数のラベル付き判決文（数千件）というデータ不足の状況下で、現代の深層学習モデルの法的テキスト分類における性能にどのような影響が及ぶか？
• RQ3 文書長さと入力長の制限が、BERTのようなトランスフォーマー基盤モデルの法的文書処理における性能に与える影響はどの程度か？
• RQ4 単純なキーワードベースのベースラインが、再現率が重視される法的リトリーブタスクにおいて、複雑なニューラルモデルを上回ることはあるか？
• RQ5 ドメイン特化型の事前学習と微調整が、少数で長大な法的コーパスにおけるモデル性能の向上に果たす役割は何か？

主な発見

• LSAベースのモデルは、全データセット（100%）において最高のマクロ精度（80.0%）を達成し、BERT や GloVe-CNN モデルを上回った。
• 10%のサブセットでは、$glove_{cnn}$ が最高のマクロ精度（75.3%）を記録したが、$lsa_{250}$ も74.2%と2位にランクした。
• BERT モデルは、10%および50%のサブセットにおいて、最高のマイクロおよびマクロ再現率を達成した。100%のデータセットでは、$bert_{large}$ がマイクロ再現率68.5%、マクロ再現率61.6%を記録した。
• キーワードベースのベースライン $count_{25}$ は、すべてのデータサブセットでマイクロおよびマクロ再現率の両方において、他のすべてのモデルを上回った。これは、再現率中心のタスクにおいて強力なベースライン性能であることを示している。
• 微調整なしで、BERT モデルはわずか588件のラベル付きデータでも競争力のある性能を示した。これは、データ効率的な適応の可能性を示唆している。
• ULMBERT は10%のサブセットでは優れた性能を示したが、データ量の増加に伴い効果的にスケーリングできず、このモデルのデータ活用能力の限界が示された。