[논문 리뷰] JNLP Team: Deep Learning Approaches for Legal Processing Tasks in COLIEE 2021

Ha-Thanh Nguyen, Phuong Nguyen외 7명|arXiv (Cornell University)|2021. 06. 25.

Artificial Intelligence in Law참고 문헌 9인용 수 9

한 줄 요약

이 논문은 COLIEE 2021 대회에서 법적 텍스트 처리 과제를 위해 JNLP 팀이 개발한 딥러닝 기반 접근법을 제시한다. 이는 제한된 법적 데이터에서 피인간된 BERT 및 다국어 모델을 활용한 것이다. 팀은 어휘적 및 의미적 점수화, 데이터 증강, 앙상블 기법을 조합하여 경쟁적인 성능을 달성하였으며, 특히 법령 해석 질문 응답 과제에서 NFSP Base 모델이 다른 모델들을 압도하여 60.49%의 정확도를 기록하였다.

ABSTRACT

COLIEE is an annual competition in automatic computerized legal text processing. Automatic legal document processing is an ambitious goal, and the structure and semantics of the law are often far more complex than everyday language. In this article, we survey and report our methods and experimental results in using deep learning in legal document processing. The results show the difficulties as well as potentials in this family of approaches.

연구 동기 및 목표

• 제한된 주석 데이터로 인한 저자원 법적 텍스트 처리 과제에 대응하기 위해 COLIEE 2021에서의 도전 과제 해결.
• 딥러닝을 활용하여 케이스 레이어 검색, 함의 관계 판단, 법령 해석 질문 응답 과제의 성능 향상.
• 사전 학습된 언어 모델과 하이브리드 어휘-의미 점수화 기법의 법적 NLP 과제에서의 효과성 탐구.
• 데이터 증강 및 앙상블 학습을 통한 모델의 강건성 및 일반화 능력 최적화.
• 저자원 환경에서의 법적 질문 응답 과제에 대해 다국어 및 교차 언어 모델의 성능 평가.

제안 방법

• 도메인 특화 사전학습을 활용하여 법적 텍스트에서 BERT 기반 모델(예: BertJp2, NFSP Base, NMSP Base)을 미세조정.
• 후보 문서 순서 매기기 과제인 검색 및 함의 관계 판단 과제에서 어휘적(예: tf-idf, BM25) 및 의미적(예: BERT 기반 문장 임베딩) 점수를 조합.
• tf-idf 가중 키워드 및 자기 레이블링 기법을 활용한 데이터 증강을 통해 모델의 일반화 능력 향상.
• 함의 관계 및 질문 응답 과제에서 장문의 법적 문서를 처리하기 위해 슬라이딩 윈도우 기반의 텍스트 청킹(윈도우 크기=150, 스트라이드=50) 적용.
• 다양한 모델 버전(예: JNLP.EnssBest)을 조합한 앙상블 전략을 활용하여 예측의 안정성 향상 및 성능 향상.
• 최대 20 에포크까지 연장된 학습을 수행하고, 과적합 여부를 검증을 통해 모니터링하여 최적의 학습 기간 선택.

실험 결과

연구 질문

• RQ1 제한된 데이터에서 하이브리드 어휘-의미 점수화 기법이 법적 문서 검색 및 함의 관계 판단 과제에서 얼마나 효과적인가?
• RQ2 전통적인 어휘 기반 방법에 비해, 미세조정된 BERT 모델이 저자원 법적 NLP 과제에서 성능 향상에 얼마나 기여하는가?
• RQ3 데이터 증강 및 자기 레이블링 기법이 법적 텍스트 처리 과정에서 모델의 강건성 향상 및 분산 감소에 기여하는가?
• RQ4 XLM-RoBERTa 및 BERT 다국어 모델과 같은 다국어 및 교차 언어 모델은 저자원 환경에서 법적 질문 응답 과제에서 어떻게 성능을 보이는가?
• RQ5 학습 기간과 모델 아키텍처는 법적 텍스트 분류 및 순서 매기기 과제에서 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• JNLP 팀은 법령 해석 질문 응답 과제(과제 5)에서 테스트 세트 정확도 60.49%를 기록하여, 다른 모든 제출 결과를 압도하였다.
• NFSP Base 모델은 검증 세트에서 가장 높은 성능(71.0%)을 기록하였고, 블라인드 테스트 세트에서도 우수한 일반화 능력을 보였다.
• 앙상블 모델(JNLP.EnssBest)은 여러 시행에서 일관된 성능을 유지하였으며, 테스트 세트에서 81개 중 51개의 정답을 맞추었다.
• 학습 에포크를 늘릴수록 모델의 안정성이 향상되었지만, 과도한 에포크는 과적합을 유발하여, 정교한 하이퍼파라미터 튜닝이 필요함을 시사했다.
• 자기 레이블링 기반 텍스트 청킹 기법은 성능의 분산을 감소시켜, 장문 문서 처리에서 노이즈에 대한 내성을 향상시켰다.
• XLM-RoBERTa 및 정제된 BERT 변형 모델은 증강된 데이터로부터 효과적으로 학습하지 못했고, BERT 다국어 모델은 미세조정된 NFSP 및 NMSP 모델에 비해 성능이 열 劣하였다.