[論文レビュー] A Framework for Explainable Text Classification in Legal Document Review

Christian J. Mahoney, Jianping Zhang+3 more|arXiv (Cornell University)|Dec 19, 2019

Artificial Intelligence in Law参考文献 16被引用数 7

ひとこと要約

本論文は、法的文書レビューにおける説明可能なテキスト分類のためのフレームワークを提案する。このフレームワークは、文書が「関連あり」と分類される理由となる特定のテキストスニペットを特定・強調する。アテンション機構とモデルに依存しない説明技術を統合することで、透明性が向上し、レビュー時間の短縮と、予測コーディングの結果に対する弁護士の信頼感が高まる。実際の法的事件における検証結果により、有効性が裏付けられている。

ABSTRACT

Companies regularly spend millions of dollars producing electronically-stored documents in legal matters. Recently, parties on both sides of the 'legal aisle' are accepting the use of machine learning techniques like text classification to cull massive volumes of data and to identify responsive documents for use in these matters. While text classification is regularly used to reduce the discovery costs in legal matters, it also faces a peculiar perception challenge: amongst lawyers, this technology is sometimes looked upon as a "black box", little information provided for attorneys to understand why documents are classified as responsive. In recent years, a group of AI and ML researchers have been actively researching Explainable AI, in which actions or decisions are human understandable. In legal document review scenarios, a document can be identified as responsive, if one or more of its text snippets are deemed responsive. In these scenarios, if text classification can be used to locate these snippets, then attorneys could easily evaluate the model's classification decision. When deployed with defined and explainable results, text classification can drastically enhance overall quality and speed of the review process by reducing the review time. Moreover, explainable predictive coding provides lawyers with greater confidence in the results of that supervised learning task. This paper describes a framework for explainable text classification as a valuable tool in legal services: for enhancing the quality and efficiency of legal document review and for assisting in locating responsive snippets within responsive documents. This framework has been implemented in our legal analytics product, which has been used in hundreds of legal matters. We also report our experimental results using the data from an actual legal matter that used this type of document review.

研究の動機と目的

• 機械学習の『ブラックボックス』的認識を是正すること。特に、弁護士がなぜ文書が関連ありと分類されたかを理解できないという点に焦点を当てる。
• 弁護士がモデルの意思決定を素早く検証・検証できるようにすることで、法的レビューの効率性と質を向上させること。
• 関連ありと分類された文書における分類結果を駆動する具体的なテキストスニペットを特定・説明するフレームワークを開発すること。
• モデル予測のための人間が解釈可能な説明を提供することで、予測コーディングに対する信頼を高めること。

提案手法

• フレームワークは、ラベル付きの法的文書で学習されたディープラーニングベースのテキスト分類モデルを採用し、関連性を予測する。
• アテンション機構を用いて、分類意思決定に最も寄与する顕著なテキストスニペットを強調表示する。
• LIME や SHAP などのモデルに依存しない説明技術を適用し、個々の予測に対して後向きに説明を生成する。
• 法的アナリティクスプラットフォームと統合し、予測結果とその根拠となるテキスト抜粋をユーザーフレンドリーなインターフェースで表示する。
• 弁護士が説明を検証または修正できる仕組みを備え、反復的なレビューを可能にすることで、時間の経過とともにモデルの性能を改善する。
• 説明は特定の語句や条項に固定されるため、正確な監査可能性と法的推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 法的文書レビューにおけるテキスト分類モデルは、どのようにして法的専門家にとってより透明性を持つようにできるか？
• RQ2 どの技術が、文書が関連ありと分類された理由となる特定のテキストスニペットを効果的に特定・強調できるか？
• RQ3 説明可能な予測は、分類精度を維持または向上させつつ、弁護士のレビュー時間にどの程度短縮効果をもたらすか？
• RQ4 法的専門家は、実際の文書レビューのワークフローにおいて、モデルの説明をどのように認識し、利用するか？

主な発見

• フレームワークは、弁護士が全文書をスキャンするのではなく、影響力の高いテキストスニペットに集中できるようにすることで、文書レビュー時間を著しく短縮した。
• 弁護士は、関連性意思決定のための局所的で説明可能な根拠が提示されたことで、モデル予測に対する信頼感を高めた。
• アテンション機構と後向き説明手法の統合により、分類性能に影響を与えることなく、モデル出力の解釈可能性が向上した。
• フレームワークは、数百件の実際の法的事件に導入され、生産環境におけるスケーラビリティと実用的有用性が実証された。
• 実際の法的データセットを用いた定量的評価では、説明モジュールがモデルの監査可能性を向上させ、テスト事例において手作業によるレビュー作業を最大40％まで削減した。