[논문 리뷰] THUIR@COLIEE-2020: Leveraging Semantic Understanding and Exact Matching for Legal Case Retrieval and Entailment

Yunqiu Shao, Bulou Liu외 4명|arXiv (Cornell University)|2020. 12. 24.

Artificial Intelligence in Law참고 문헌 10인용 수 8

한 줄 요약

이 논문은 COLIEE-2020 경쟁 대회에서 법적 케이스 검색 및 함의 추론을 위해 신경망 의미 이해(BERT-PLI)와 정확한 매칭(단어-엔티티 듀엣)을 융합한 하이브리드 접근법을 제시한다. 이 방법은 랜킹 학습을 활용해 두 전략을 통합하여 검색 부문 2위, 함의 추론 부문 4위를 기록했으며, 함의 추론에서는 의미 기반 모델이 정확한 매칭을 능가함을 보여주며, 검색에서는 두 전략이 상호 보완적임을 입증한다.

ABSTRACT

In this paper, we present our methodologies for tackling the challenges of legal case retrieval and entailment in the Competition on Legal Information Extraction / Entailment 2020 (COLIEE-2020). We participated in the two case law tasks, i.e., the legal case retrieval task and the legal case entailment task. Task 1 (the retrieval task) aims to automatically identify supporting cases from the case law corpus given a new case, and Task 2 (the entailment task) to identify specific paragraphs that entail the decision of a new case in a relevant case. In both tasks, we employed the neural models for semantic understanding and the traditional retrieval models for exact matching. As a result, our team (TLIR) ranked 2nd among all of the teams in Task 1 and 3rd among teams in Task 2. Experimental results suggest that combing models of semantic understanding and exact matching benefits the legal case retrieval task while the legal case entailment task relies more on semantic understanding.

연구 동기 및 목표

• COLIEE-2020 경쟁에서 법적 케이스 검색 및 함의 추론 과제를 의미 이해 기반 기법과 정확한 매칭 기법을 동시에 활용하여 해결하고자 한다.
• 의미 기반 및 어휘 수준 매칭 기법을 융합할 경우 법적 정보 검색 과제에서 성능 향상이 이루어지는지 조사하고자 한다.
• 의사결정 조각(쿼리)이 핵심적인 역할을 하는 법적 함의 추론 과제에서 BERT 미세조정 시 비대칭 자르기 기법의 효과를 평가하고자 한다.
• 저자료 환경에서 모델 융합의 한계를 분석하고, 법적 NLP 과제에서 성능에 영향을 미치는 핵심 요소를 규명하고자 한다.

제안 방법

• 법적 케이스 내 어휘 수준 및 엔티티 수준의 유사성을 포착하기 위해 정확한 매칭을 위한 단어-엔티티 듀엣 프레임워크를 적용하였다.
• 장문의 법적 문서에서 문단 수준의 상호작용을 모델링함으로써 깊이 있는 의미 이해를 위해 BERT-PLI 모델을 적용하였다.
• 검색 과제에서 랜킹 학습을 위해 RankSVM을 활용해 두 모델의 특징을 통합하였다.
• 함의 추론 과제에서 BERT 미세조정 시 비대칭 자르기를 적용하여 결정 조각(쿼리)의 정보를 유지하고자 하였다.
• 함의 추론 과제에서 BERT 표현과 함께 추가적인 메타 특징 및 정확한 매칭 특징을 통합하였다.
• 모델 융합 및 미세조정 전략을 다양화하여 각 과제별로 세 번의 별도 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 법적 케이스 검색 및 함의 추론 과제에서 의미 이해 모델과 정확한 매칭 기법은 어떻게 상호 비교되는가?
• RQ2 의미 기반 및 어휘 수준 매칭 기법을 융합할 경우 법적 케이스 검색에서 성능 향상이 이루어지는가?
• RQ3 BERT 미세조정 시 비대칭 자르기를 적용할 경우 법적 케이스 함의 추론 성능 향상에 기여하는가?
• RQ4 검색 과제에서는 성공했지만 함의 추론 과제에서는 모델 융합이 성능 향상에 기여하지 못한 이유는 무엇인가?
• RQ5 자료 부족과 데이터셋 편향이 법적 NLP 과제에서 모델 일반화 능력에 미치는 영향은 어느 정도인가?

주요 결과

• BERT-PLI 모델은 법적 케이스 검색 과제에서 단어-엔티티 듀엣 모델보다 유의미하게 뛰어나 성능을 보였으며, 이는 이 과제에서 의미 이해 기반 접근이 정확한 매칭 기반 접근보다 더 효과적임을 시사한다.
• 랜킹 학습을 통해 의미 기반 및 정확한 매칭 모델을 융합함으로써 개별 모델 성능을 초월하는 성능 향상을 달성하였으며, 이는 검색 과제에서 두 기법이 상호 보완적임을 확인한다.
• Task 1(검색)에서 최고 성능 기록을 낸 런은 상위 팀과 F1 점수 차이가 0.01 이내로 매우 근접한 성능을 기록하며 2위를 기록하였다.
• Task 2(함의 추론)에서 비대칭 자르기를 적용한 최고 런은 4위를 기록하였으며, 이는 쿼리 조각의 정보를 유지함으로써 성능 향상이 이루어졌음을 시사한다.
• Task 2에서는 모델 융합이 성능 향상에 기여하지 못했으며, 이는 과제가 깊이 있는 의미 이해에 크게 의존하고 있고, 소규모 데이터셋에서 과적합 위험이 존재하기 때문일 것이다.
• Task 2에서 최고 성능을 기록한 팀(JNLP-BMWT)은 모든 다른 팀을 크게 앞서며 현재 접근 방식의 개선 여지를 시사한다.