[論文レビュー] Empirical Comparisons of CNN with Other Learning Algorithms for Text Classification in Legal Document Review

Robert Keeling, Rishi Chhatwal+6 more|arXiv (Cornell University)|Dec 19, 2019

Topic Modeling参考文献 10被引用数 6

ひとこと要約

本研究では、実際の法的文書レビューにおけるテキスト分類において、畳み込みニューラルネットワーク（CNN）とロジスティック回帰、サポートベクターマシン、ランダムフォレストを実証的に比較している。文書長が異なる4つの実際のeDiscoveryデータセットを用いて、著者たちはCNNが良好な性能を示すが、すべてのデータセットおよび訓練サンプルサイズにおいて一貫して他のモデルを上回る単一のアルゴリズムは存在しないことを発見した。これは、法的AIアプリケーションにおける文脈依存的なモデル選択の重要性を示している。

ABSTRACT

Research has shown that Convolutional Neural Networks (CNN) can be effectively applied to text classification as part of a predictive coding protocol. That said, most research to date has been conducted on data sets with short documents that do not reflect the variety of documents in real world document reviews. Using data from four actual reviews with documents of varying lengths, we compared CNN with other popular machine learning algorithms for text classification, including Logistic Regression, Support Vector Machine, and Random Forest. For each data set, classification models were trained with different training sample sizes using different learning algorithms. These models were then evaluated using a large randomly sampled test set of documents, and the results were compared using precision and recall curves. Our study demonstrates that CNN performed well, but that there was no single algorithm that performed the best across the combination of data sets and training sample sizes. These results will help advance research into the legal profession's use of machine learning algorithms that maximize performance.

研究の動機と目的

• CNNの法的文書レビューにおける従来の機械学習アルゴリズムとの比較による有効性の評価。
• 多様な文書長さを有する実世界のeDiscoveryデータセットにおけるモデル性能の変動の評価。
• CNNがロジスティック回帰、SVM、ランダムフォレストといった従来のアルゴリズムを一貫して上回るかどうかの特定。
• さまざまなアルゴリズムにおける訓練サンプルサイズの分類性能への影響の分析。
• データセットの特性に基づいて、法的テキスト分類のための最適なモデル選択を実務家にガイドすること。

提案手法

• 本研究では、実際の文書レビュー過程から得られた4つの実世界のeDiscoveryデータセットを用い、それぞれが多様な長さの文書を含む。
• CNN、ロジスティック回帰、SVM、ランダムフォレストといった複数の機械学習モデルを、各データセットに対して異なる訓練サンプルサイズで学習させた。
• モデルの性能を安定して測定するため、大規模でランダムに抽出されたテストセットを用いて評価を行った。
• アルゴリズムおよびデータセット間のトレードオフを比較するため、精度と再現率の曲線を用いて性能を測定した。
• 評価の前に各モデルのハイパーパrameterチューニングを実施し、最適な設定を確保した。
• 分析は、多様な法的文書タイプおよび長さにおける一般化性能に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 CNNは、長さが異なる法的文書の分類において、従来の機械学習アルゴリズムを上回るか？
• RQ2 実際の法的文書レビュー環境において、訓練サンプルサイズの違いがモデル性能にどのように影響するか？
• RQ3 すべての法的文書レビュー用データセットおよび訓練サイズにおいて、単一の最良のアルゴリズムが存在するか？
• RQ4 実世界の法的テキスト分類において、CNNと他のアルゴリズムとの間で、精度と再現率の曲線にどのような差が生じるか？
• RQ5 文書長さとデータの多様性が、法的AIアプリケーションにおけるモデル選択にどの程度影響を与えるか？

主な発見

• CNNは、4つのすべての法的文書レビュー用データセットで優れた性能を示し、実世界の環境でも有効性を示した。
• すべてのデータセットおよび訓練サンプルサイズにおいて、一貫して他のモデルを上回る単一のアルゴリズムは存在しなかった。
• 性能は、特定のデータセットおよび訓練サンプルサイズに大きく依存していた。
• ロジスティック回帰とSVMは、特に小さな訓練セットにおいても競争力のある結果を示した。
• ランダムフォレストは一部のデータセットでは良好な性能を示したが、CNNやロジスティック回帰ほど一貫性はなかった。
• 結果から、モデル選択は「最良のアルゴリズム」に依存するのではなく、データ駆動的かつ文脈特化的であるべきであると示唆された。