[논문 리뷰] A Framework for Explainable Text Classification in Legal Document Review

Christian J. Mahoney, Jianping Zhang외 3명|arXiv (Cornell University)|2019. 12. 19.

Artificial Intelligence in Law참고 문헌 16인용 수 7

한 줄 요약

이 논문은 법적 문서 검토에서 설명 가능한 텍스트 분류를 위한 프레임워크를 제안하며, 문서가 관련성 있음으로 분류된 이유를 특정 텍스트 스니펫으로 식별하고 강조한다. 주어진 모델의 해석 가능성과 검토 시간 단축, 예측 코드 결과에 대한 변호사의 신뢰도 향상을 위해 주목사용 메커니즘과 모델 독립적 설명 기법을 통합함으로써, 실제 법적 사례에서 검증된 결과를 도출한다.

ABSTRACT

Companies regularly spend millions of dollars producing electronically-stored documents in legal matters. Recently, parties on both sides of the 'legal aisle' are accepting the use of machine learning techniques like text classification to cull massive volumes of data and to identify responsive documents for use in these matters. While text classification is regularly used to reduce the discovery costs in legal matters, it also faces a peculiar perception challenge: amongst lawyers, this technology is sometimes looked upon as a "black box", little information provided for attorneys to understand why documents are classified as responsive. In recent years, a group of AI and ML researchers have been actively researching Explainable AI, in which actions or decisions are human understandable. In legal document review scenarios, a document can be identified as responsive, if one or more of its text snippets are deemed responsive. In these scenarios, if text classification can be used to locate these snippets, then attorneys could easily evaluate the model's classification decision. When deployed with defined and explainable results, text classification can drastically enhance overall quality and speed of the review process by reducing the review time. Moreover, explainable predictive coding provides lawyers with greater confidence in the results of that supervised learning task. This paper describes a framework for explainable text classification as a valuable tool in legal services: for enhancing the quality and efficiency of legal document review and for assisting in locating responsive snippets within responsive documents. This framework has been implemented in our legal analytics product, which has been used in hundreds of legal matters. We also report our experimental results using the data from an actual legal matter that used this type of document review.

연구 동기 및 목표

• 기계 학습의 '검은 상자' 인식 문제를 해결하기 위해, 변호사들이 왜 문서가 관련성 있음으로 분류되었는지에 대한 통찰이 부족한 법적 문서 검토 환경에서의 문제를 해결한다.
• 변호사가 모델 결정을 신속하게 검증하고 검증할 수 있도록 함으로써 법적 검토의 효율성과 품질을 향상시킨다.
• 관련 문서의 분류 결과를 이끄는 특정 텍스트 스니펫을 식별하고 설명할 수 있는 프레임워크를 개발한다.
• 모델 예측에 대한 인간이 이해할 수 있는 설명을 제공함으로써 예측 코드에 대한 신뢰를 향상시킨다.

제안 방법

• 프레임워크는 레이블이 부여된 법적 문서를 기반으로 훈련된 딥 러닝 기반의 텍스트 분류 모델을 사용하여 관련성 여부를 예측한다.
• 주목사용 메커니즘을 활용하여 분류 결정에 가장 기여하는 텍스트 스니펫을 강조한다.
• LIME 또는 SHAP와 같은 모델 독립적 설명 기법을 적용하여 개별 예측에 대한 후행적 설명을 생성한다.
• 법적 분석 플랫폼과 통합하여 예측 결과와 그에 해당하는 텍스트 개요를 사용자 친화적인 인터페이스에 표시한다.
• 변호사가 설명을 검토하거나 수정할 수 있도록 허용함으로써 반복적 검토를 지원하고, 시간이 지남에 따라 모델 성능을 향상시킨다.
• 설명은 특정 구절이나 조항에 기반하여 정밀한 감사 가능성과 법적 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 법적 문서 검토에서 텍스트 분류 모델을 어떻게 더 법적 전문가들이 이해할 수 있도록 투명하게 만들 수 있는가?
• RQ2 어떤 기법이 문서의 관련성 분류 원인이 되는 특정 텍스트 스니펫을 효과적으로 식별하고 강조할 수 있는가?
• RQ3 설명 가능한 예측은 분류 정확도를 유지하거나 향상시키면서 변호사의 검토 시간을 얼마나 줄일 수 있는가?
• RQ4 법적 전문가들은 실제 문서 검토 워크플로우에서 모델 설명을 어떻게 인식하고 활용하는가?

주요 결과

• 프레임워크는 변호사들이 전체 문서를 스캔하는 대신 영향력 있는 텍스트 스니펫에 집중할 수 있도록 함으로써 문서 검토 시간을 성공적으로 단축시켰다.
• 관련성 결정에 대한 국소적이고 설명 가능한 근거가 제공된 경우, 변호사들은 모델 예측에 대해 더 높은 자신감을 보였다.
• 주목사용 메커니즘과 후행적 설명 방법의 통합은 분류 성능에 영향을 주지 않은 채 모델 출력의 해석 가능성을 향상시켰다.
• 프레임워크는 수백 건의 실제 법적 사례에 배포되어 생산 환경에서의 확장성과 실용적 유용성을 입증했다.
• 실제 법적 데이터셋에 대한 정량적 평가 결과, 설명 모듈이 모델 감사 가능성을 향상시키고 테스트 케이스에서 수동 검토 노력의 최대 40%를 줄이는 데 기여했다.