[논문 리뷰] An External Knowledge Enhanced Multi-label Charge Prediction Approach with Label Number Learning

Wei Duan, Lin Li|arXiv (Cornell University)|2019. 07. 04.

Artificial Intelligence in Law참고 문헌 35인용 수 8

한 줄 요약

이 논문은 법령 조항 임베딩과 학습 가능한 수량 학습 네트워크(NLN)를 통합하여 최적의 레이블 수와 임계값을 자동으로 예측하는 외부 지식 강화 다중 레이블 죄명 예측 프레임워크를 제안한다. 이 방법은 대규모 중국어 법적 데이터셋에서 여러 최신 기술(SOTA) 모델에 대해 매크로 기준 3%-5%, 마이크로 기준 5%-15%의 F1 점수 향상을 이룬다.

ABSTRACT

Multi-label charge prediction is a task to predict the corresponding accusations for legal cases, and recently becomes a hot topic. However, current studies use rough methods to deal with the label number. These methods manually set parameters to select label numbers, which has an effect in final prediction quality. We propose an external knowledge enhanced multi-label charge prediction approach that has two phases. One is charge label prediction phase with external knowledge from law provisions, the other one is number learning phase with a number learning network (NLN) designed. Our approach enhanced by external knowledge can automatically adjust the threshold to get label number of law cases. It combines the output probabilities of samples and their corresponding label numbers to get final prediction results. In experiments, our approach is connected to some state of-the art deep learning models. By testing on the biggest published Chinese law dataset, we find that our approach has improvements on these models. We future conduct experiments on multi-label samples from the dataset. In items of macro-F1, the improvement of baselines with our approach is 3%-5%; In items of micro-F1, the significant improvement of our approach is 5%-15%. The experiment results show the effectiveness our approach for multi-label charge prediction.

연구 동기 및 목표

• 다중 레이블 법적 죄명 예측에서 일관성 없고 수작업으로 설정된 레이블 수 선택 문제를 해결한다.
• 법령 조항에서 유래한 외부 법적 지식을 통합하여 법적 NLP 분야의 다중 레이블 텍스트 분류 성능을 향상시킨다.
• 학습 가능한 수량 학습 네트워크(NLN)를 사용하여 임계값과 레이블 수 예측을 자동화함으로써 히ュ리스틱 전략에 대한 의존도를 줄인다.
• 불균형한 다중 레이블 법적 데이터셋에서 모델의 일반화 능력과 정확도를 향상시키며, 특히 희귀한 다중 레이블 케이스에 대해 유리하다.
• NLN를 포함한 엔드 투 엔드 훈련을 가능하게 하면서도 기존 딥 러닝 아키텍처와의 호환성을 유지한다.

제안 방법

• 법령 조항 텍스트를 외부 지식으로 통합하여 법적 사례 기술의 입력 표현을 풍부화시킨다.
• 레이블 확률에 대한 역전파를 통해 각 레이블별로 적응형 임계값을 학습하는 수량 학습 네트워크(NLN)를 설계한다.
• 샘플 기반 확률 분포에 따라 결정 임계값을 동적으로 조정할 수 있도록 NLN 내 전용 임베딩 레이어를 구축한다.
• 기본 모델의 출력 확률과 NLN에서 예측한 레이블 수를 조합하여 최종 다중 레이블 예측 결과를 도출한다.
• 기본 모델과 함께 NLN를 엔드 투 엔드로 훈련시켜 분류 및 레이블 수 추정의 공동 최적화를 가능하게 한다.
• 기본 모델과 NLN의 공동 훈련을 지원하는 손실 함수를 사용하여 다중 레이블 설정에서의 예측 일관성 향상과 오류 감소를 도모한다.

실험 결과

연구 질문

• RQ1 법령 조항에서 유래한 외부 법적 지식이 법적 텍스트 분류에서 다중 레이블 죄명 예측 성능을 향상시키는가?
• RQ2 학습 가능한 수량 학습 네트워크(NLN)가 고정 임계값 또는 상위-k 전략에 비해 레이블 수 예측에서 우수한 성능을 보이는가?
• RQ3 제안된 방법이 희귀하거나 고복잡도 케이스에서 다중 레이블 예측 오류를 어느 정도 감소시키는가?
• RQ4 다양한 딥 러닝 모델에서 NLN 기반 방법이 표준 임계값 전략에 비해 매크로-F1 및 마이크로-F1 점수를 얼마나 향상시키는가?
• RQ5 NLN는 법적 죄명 예측을 초월한 다른 다중 레이블 NLP 작업으로 일반화될 수 있는가?

주요 결과

• 기본 모델에 대해 표준 기반 임계값 예측 방식과 비교했을 때 제안된 방법은 모든 테스트 기준 모델에서 매크로-F1 점수를 3%-5% 향상시켰다.
• 모든 모델에서 마이크로-F1 점수는 5%-15% 향상되었으며, 이는 전체 예측 정확도와 견고성 향상에 기여함을 시사한다.
• TextCNN 기반 모델은 NLN를 통합한 후 마이크로-F1(86.23%)과 매크로-F1(77.50%) 모두 최고 성능을 기록하여 모든 기준 모델을 능가했다.
• NLN는 최적의 임계값을 엔드 투 엔드로 학습함으로써 수작업 하이퍼파라미터 튜닝을 줄여 불균형한 다중 레이블 데이터에서의 일반화 능력을 향상시켰다.
• 기존 전략이 낮은 확률 점수로 인해 실패하기 쉬운 희귀한 다중 레이블 샘플에서 성능 향상이 크게 이루어졌다.
• 법령 조항 임베딩과 NLN의 통합은 특히 다수의 죄명을 포함하는 복잡한 케이스에서 더 정확하고 의미론적으로 타당한 레이블 예측을 가능하게 했다.