[논문 리뷰] JNLP Team: Deep Learning for Legal Processing in COLIEE 2020

Ha-Thanh Nguyen, Hai-Yen Thi Vuong외 8명|arXiv (Cornell University)|2020. 11. 04.

Topic Modeling참고 문헌 4인용 수 21

한 줄 요약

JNLP 팀은 COLIEE 2020에서 법적 텍스트 처리를 위한 딥러닝 접근법을 제안하며, 대규모 법적 데이터를 기반으로 미세튜닝된 BERT 기반 모델—특히 BERT Law—을 활용하여 법적 검색 및 텍스트 함의성 분석을 향상시켰다. 그들의 방법은 최첨단 성능을 달성하였으며, Task 4에서 BERT Law가 BERT-base-uncased보다 정확도 15.5% 높게 기록하여 도메인 특화 사전학습의 효과를 입증하였다.

ABSTRACT

We propose deep learning based methods for automatic systems of legal retrieval and legal question-answering in COLIEE 2020. These systems are all characterized by being pre-trained on large amounts of data before being finetuned for the specified tasks. This approach helps to overcome the data scarcity and achieve good performance, thus can be useful for tackling related problems in information retrieval, and decision support in the legal domain. Besides, the approach can be explored to deal with other domain specific problems.

연구 동기 및 목표

• 법적 NLP에서의 데이터 부족 문제를 해결하기 위해 법적 텍스트 기반 대규모 사전학습을 활용하여 모델의 일반화 능력을 향상시키기 위해.
• 딥러닝과 어휘 매칭(BM25)을 결합한 하이브리드 시스템을 개발하여 검색 및 함의성 성능을 향상시키기 위해.
• 도메인 특화 사전학습의 영향을 조사하기 위해 법적 최적화된 BERT 변종인 BERT Law를 도입하기 위해.
• 약한 레이블이 부여된 지원 관계와 신경망 점수를 결합하여 법적 질문-답변 및 케이스 검색 성능을 향상시키기 위해.
• 실제 데이터 제약 조건 하에서 여러 법적 작업(검색 및 텍스트 함의성 포함)에 대해 모델의 안정성과 성능을 평가하기 위해.

제안 방법

• 법률 판례 문서에서 히우리스틱을 통해 자동으로 추출한 지원 텍스트 쌍의 약한 레이블이 부여된 데이터셋에 BERT base 모델을 미세튜닝하기 위해.
• BERT 기반의 지원 점수와 BM25 어휘 유사도 점수를 가중치 융합을 통해 결합하기 위해: $score = \alpha \cdot score_{supporting} + (1 - \alpha) \cdot score_{BM25}$.
• 일본 및 캐나다 법적 문서 대규모 코퍼스를 기반으로 사전학습한 법적 텍스트에 최적화된 BERT Law 모델을 전용으로 훈련하기 위해.
• 법률 문장과 이전 바 시험 문제를 활용한 데이터 증강을 통해 법질성 분류 작업의 훈련 데이터를 확장하기 위해.
• Task 4에 대해 두 가지 별도의 접근법을 적용하기 위해: (1) 골드 또는 Tf-idf로 검색된 기사를 사용한 텍스트 함의성 분석, (2) BERT Law를 활용한 법질성 이진 분류.
• 최종 실행은 골드 테스트 데이터를 기반으로 평가하기 위해, 개발 세트의 10%를 활용하여 하이퍼파라미터 및 모델 선택을 최적화하기 위해.

실험 결과

연구 질문

• RQ1 BERT Law를 사용한 도메인 특화 사전학습이 일반 도메인 BERT에 비해 법적 텍스트 처리 작업에서 성능을 크게 향상시킬 수 있는가?
• RQ2 딥러닝과 어휘 유사도(BM25)를 융합한 접근법이 법적 검색 작업에서 단독으로 사용하는 방법보다 더 나은 성능을 내는가?
• RQ3 텍스트 함의성 작업의 훈련에 골드 표준 데이터 대신 Tf-idf로 검색된 보조 기사 사용이 유의미한 성능 향상에 기여하는가?
• RQ4 데이터 품질과 양이 법적 NLP 벤치마크에서 미세튜닝된 BERT 모델의 성능에 어떤 영향을 미치는가?
• RQ5 히우리스틱을 통해 추출한 약한 레이블이 부여된 데이터로 법적 케이스 검색에서 지원 관계 분류기의 훈련이 효과적으로 이루어질 수 있는가?

주요 결과

• BERT Law 모델은 법질성 분류 작업의 개발 세트에서 81.68%의 정확도를 기록하여 BERT-base-uncased(77.84%)를 뛰어넘었다.
• Task 4의 골드 테스트 세트에서 BERT Law는 72.32%의 정확도를 기록하였으며, BERT-base-uncased(56.25%)보다 15.5% 높고, Tf-idf + BERT-base(55.36%)보다 16.0% 높았다.
• Tf-idf로 검색된 보조 기사 데이터를 훈련에 사용함으로써 텍스트 함의성 작업의 성능이 1.39%p 향상되었으며(0.5417 vs. 0.5278), 골드 데이터만 사용한 경우와 비교해 보다 우수한 성능을 보였다.
• BERT 지원 점수와 BM25 어휘 유사도 점수를 융합한 하이브리드 점수 모델은 딥러닝과 어휘 매칭의 상호보완적 강점을 활용하여 검색 성능을 향상시켰다.
• 결과적으로 도메인 특화 사전학습(BERT Law)이 법적 NLP에서 높은 성능을 달성하는 데 핵심적인 역할을 하며, 특히 자원이 제한된 환경에서 중요함을 입증하였다.
• 테스트 데이터의 변동성에도 불구하고 BERT Law는 여러 평가에서 일관되고 뚜렷한 성능 향상을 보였으며, 법적 텍스트 이해 능력에서 강력한 일반화 및 내구성을 보였다.