[論文レビュー] Document classification using a Bi-LSTM to unclog Brazil's supreme court

Fabrício Ataides Braz, Nilton Correia da Silva+14 more|arXiv (Cornell University)|Nov 27, 2018

Artificial Intelligence in Law参考文献 7被引用数 11

ひとこと要約

本論文は、ブラジル連邦最高裁判所（STF）の法的文書を分類するための双方向LSTM（Bi-LSTM）ネットワークを提案する。具体的には、6,814件の手動ラベル付の「peças」（法的弁論書）を、1文書あたり最初の1,000トークンのみを用いて84%のF1スコアで分類している。モデルはラスタスキャンされたPDFからTesseract OCRで抽出されたテキストを処理し、前処理ヒューリスティクスを一切用いずに高い正確性を達成しており、1億800万件の保留事案で混雑しているシステムにおける手動分類の時間を顕著に短縮している。

ABSTRACT

The Brazilian court system is currently the most clogged up judiciary system in the world. Thousands of lawsuit cases reach the supreme court every day. These cases need to be analyzed in order to be associated to relevant tags and allocated to the right team. Most of the cases reach the court as raster scanned documents with widely variable levels of quality. One of the first steps for the analysis is to classify these documents. In this paper we present a Bidirectional Long Short-Term Memory network (Bi-LSTM) to classify these pieces of legal document.

研究の動機と目的

• ブラジル連邦最高裁判所（STF）における深刻な遅延を是正することを目的とし、学期ごとに約42,000件の事案を処理し、混雑率が73%に達する状況を改善する。
• 司法職員が手動で分類に費やす時間（学期ごとに推定22,000人時）を削減するため、低品質なスキャン文書に機械学習を適用する。
• レイアウトの多様性、低品質なOCR出力、ノイズの多い入力を処理できる、ルールに依存しないエンドツーエンドの分類システムを構築する。
• UN持続可能な開発目標16.3を支援するため、スケーラブルでAI駆動の法的文書処理により、公正な法的救済へのアクセスを可能にする。

提案手法

• ラスタ画像としてのPDFからのテキスト抽出にTesseract OCRを用い、埋め込まれたテキストの検証に正規表現を適用し、品質が低い場合はOCRにフォールバックする。
• 各トークンを100次元の分散表現ベクトルに変換するための単語埋め込みの使用により、法的テキストの意味的表現を可能にする。
• 順方向と逆方向の両方の順序で逐次的文脈を捉えるために、2つの200メモリブロックLSTMを備えたBi-LSTMアーキテクチャの実装。
• 順方向および逆方向のLSTM出力を合体（和集合）し、ReLU活性化関数を適用した後、6ニューロンとソフトマックス活性化関数を備えた全結合層を用いて多クラス分類を実行。
• 1文書あたりのモデル入力は最初の1,000トークンに限定され、通常は1ページ分に相当するため、OCRコストを最小限に抑えつつ、最も情報量の多い内容に焦点を当てる。
• GPU（NVIDIA Titan XP）を用いて20エポック、バッチサイズ64、初期学習率0.001で学習し、1文書あたりの推論時間は1.47msであった。

実験結果

リサーチクエスチョン

• RQ1 前処理を一切行わず、低品質なスキャンされた法的文書に対して、Bi-LSTMモデルが高い分類精度を達成できるか？
• RQ2 文書の最初の1,000トークンのみを用いるモデルが、正確な分類に十分な情報を捉えられるか？
• RQ3 ノイズが多く、構造のない法的テキストを含むラスタPDFに対して、Bi-LSTMは、従来のCNNと比較して優れた性能を示すか？
• RQ4 エンドツーエンド学習は、法的文書分類において、手作業で作成されたルールや正規表現への依存をどの程度低減できるか？

主な発見

• モデルはテストセットでF1スコア84%を達成し、クラス内多様性が極めて高い困難なデータセットにおいても強力な性能を示した。
• 平均精度は85%、平均再現率は84%を記録し、全クラスにわたりバランスの取れた性能を示した。
• 「Sentença」（判決）クラスではF1スコア93%、「Outros」（その他）クラスでは87%を達成し、頻度の高いおよび多様性のある文書タイプに対する優れた一般化能力を示した。
• 従来のCNNベースのアプローチとは異なり、前処理ヒューリスティクスや正規表現を一切必要としなかった。
• 推論時間は1文書あたりわずか1.47msであり、先行研究のCNNモデル（5.87ms）よりも顕著に高速であった（OCR時間を除く）。
• OCR処理を1文書あたり最大2ページにまで削減できた。最初の1,000トークンが分類に十分であるため、計算コストが大幅に削減された。