[논문 리뷰] Document classification using a Bi-LSTM to unclog Brazil's supreme court

Fabrício Ataides Braz, Nilton Correia da Silva외 14명|arXiv (Cornell University)|2018. 11. 27.

Artificial Intelligence in Law참고 문헌 7인용 수 11

한 줄 요약

이 논문은 라스터 스캔된 PDF에서 Tesseract OCR로 추출한 텍스트를 사용하여, 브라질 연방재판법원(STF)의 법적 문서—특히 수작업으로 레이블링된 6,814건의 '페카'(법적 문서)를 분류하기 위해 이방향 장단기 기억(비-LSTM) 네트워크를 제안한다. 문서당 최대 1,000개 토큰만 사용하여 F1 스코어 84%를 달성한다. 모델은 전처리 히ュ리스틱 없이도 높은 정확도를 달성하여, 1억 800만 건의 보류 중인 사건으로 인해 혼잡한 시스템에서 수작업 분류 시간을 크게 줄였다.

ABSTRACT

The Brazilian court system is currently the most clogged up judiciary system in the world. Thousands of lawsuit cases reach the supreme court every day. These cases need to be analyzed in order to be associated to relevant tags and allocated to the right team. Most of the cases reach the court as raster scanned documents with widely variable levels of quality. One of the first steps for the analysis is to classify these documents. In this paper we present a Bidirectional Long Short-Term Memory network (Bi-LSTM) to classify these pieces of legal document.

연구 동기 및 목표

• 브라질 연방재판법원(STF)에서 학기당 약 42,000宗의 사건을 처리하고 있으며, 혼잡률이 73%에 이르는 심각한 누적 문제를 해결하기 위해 문서 분류 자동화를 시도한다.
• 학기당 약 22,000명-시간이 소요되는 법원 직원의 수작업 분류 시간을 줄이기 위해 저품질 스캔 문서에 머신러닝을 도입한다.
• 레이아웃 다양성, 낮은 품질의 OCR, 노이즈가 많은 입력을 처리할 수 있는 내구성 있는 종단 간 분류 시스템을 개발하여 규칙 기반 전처리에 의존하지 않는다.
• 스케일 가능하고 AI 기반의 법적 문서 처리를 통해 평등한 사법 접근을 실현함으로써 유엔 지속가능개발목표 16.3에 기여한다.

제안 방법

• 래스터 이미지로 된 PDF에서 Tesseract OCR을 사용한 텍스트 추출 및 임베딩된 텍스트에 대한 정규표현식 검증을 통해 품질이 낮을 경우 OCR로 대체하는 방법을 사용한다.
• 각 토큰을 100차원 분포 벡터로 변환하기 위해 워드 임베딩을 사용하여 법적 텍스트의 의미적 표현을 가능하게 한다.
• 전진 및 역방향으로 각각 200개의 메모리 블록을 가진 비-LSTM 아키텍처를 구현하여 양방향 순차적 맥락을 포착한다.
• 전진 및 역방향 LSTM 출력을 합산하여 연결한 후, ReLU 활성화 함수를 적용하고, 6개의 뉴런과 소프트맥스 활성화 함수를 가진 완전 연결층을 통해 다중 클래스 분류를 수행한다.
• 모델 입력은 문서당 최대 1,000개 토큰으로 제한되며, 일반적으로 한 페이지 분량을 커버하여 OCR 비용을 최소화하고 가장 정보가 많은 부분에 집중한다.
• GPU(NVIDIA Titan XP)에서 20에포크, 배치 크기 64, 초기 학습률 0.001로 학습하였으며, 추론 시간은 문서당 1.47ms였다.

실험 결과

연구 질문

• RQ1 전처리 없이도 저품질의 스캔된 법적 문서에서 브라질 연방재판법원의 문서 분류 정확도를 높일 수 있는가?
• RQ2 문서의 첫 1,000개 토큰만 사용하는 모델이 정확한 분류를 위해 충분한 정보를 포착할 수 있는가?
• RQ3 노이즈가 많고 구조가 없는 법적 텍스트를 래스터 PDF에서 처리할 때 비-LSTM이 이전의 CNN 모델보다 우수한 성능을 보이는가?
• RQ4 종단 간 학습이 법적 문서 분류에서 수작업으로 만든 규칙과 정규표현식에 대한 의존도를 얼마나 줄일 수 있는가?

주요 결과

• 비-LSTM 모델은 테스트 세트에서 F1 스코어 84%를 달성하여, 높은 클래스 내 다양성을 지닌 도전적인 데이터셋에서 강력한 성능을 보였다.
• 모델은 평균 정밀도 85%와 평균 재현율 84%를 기록하여 모든 클래스에서 균형 잡힌 성능을 보였다.
• '센تنسي아'(판결) 클래스의 경우 F1 스코어 93%를 기록했고, '아웃로스'(기타) 클래스는 87%를 기록하여 빈번하고 다양한 문서 유형에서의 강력한 일반화 능력을 입증했다.
• 이전의 CNN 기반 접근 방식이 노이즈가 많은 OCR 출력을 정제하기 위해 규칙 기반 전처리에 의존한 것과 달리, 이 모델은 전처리 히ュ리스틱이나 정규표현식이 전혀 필요로 하지 않았다.
• 추론 시간은 문서당 단지 1.47ms로, 이전 연구에서 제안한 CNN 모델의 5.87ms보다 훨씬 빠르며, OCR 시간을 제외한 경우이다.
• 시스템은 문서당 최대 두 페이지로 OCR 처리를 제한할 수 있었는데, 첫 1,000개 토큰만으로도 분류에 충분하기 때문이다. 이는 계산 비용을 절감하는 데 기여했다.