[논문 리뷰] DoSSIER@COLIEE 2021: Leveraging dense retrieval and summarization-based re-ranking for case law retrieval

Sophia Althammer, Arian Askari외 2명|arXiv (Cornell University)|2021. 08. 09.

Artificial Intelligence in Law인용 수 10

한 줄 요약

이 논문은 법적 요약을 사용한 BERT 기반 재랭킹과 함께 문단 수준의 밀도적 검색 및 어휘 검색을 결합한 이단계 법적 케이스 검색 시스템을 제안한다. 문단 수준의 검색이 문서 수준의 검색보다 우수하며, 도메인 특화 밀도적 검색(lawDPR)과 BM25를 결합함으로써 검색 효과성이 크게 향상됨을 보여주며, 법적 함의 문제에 대해 테스트 세트에서 최고의 F1 스코어 0.6922를 기록한다.

ABSTRACT

In this paper, we present our approaches for the case law retrieval and the legal case entailment task in the Competition on Legal Information Extraction/Entailment (COLIEE) 2021. As first stage retrieval methods combined with neural re-ranking methods using contextualized language models like BERT achieved great performance improvements for information retrieval in the web and news domain, we evaluate these methods for the legal domain. A distinct characteristic of legal case retrieval is that the query case and case description in the corpus tend to be long documents and therefore exceed the input length of BERT. We address this challenge by combining lexical and dense retrieval methods on the paragraph-level of the cases for the first stage retrieval. Here we demonstrate that the retrieval on the paragraph-level outperforms the retrieval on the document-level. Furthermore the experiments suggest that dense retrieval methods outperform lexical retrieval. For re-ranking we address the problem of long documents by summarizing the cases and fine-tuning a BERT-based re-ranker with the summaries. Overall, our best results were obtained with a combination of BM25 and dense passage retrieval using domain-specific embeddings.

연구 동기 및 목표

• 법적 문서의 길이가 BERT의 입력 길이 제한을 초과하는 문제를 해결하기 위해, 법적 판례 검색에서 장기적인 법적 문서를 다루는 데 초점한다.
• 어휘 검색(BM25)과 밀도적 검색(lawDPR) 방법을 결합하여 법적 도메인의 검색 효과성을 향상시킨다.
• 신경 재랭킹에 대한 요약의 영향을 평가하여 법적 케이스 검색 및 함의 문제에 대해 분석한다.
• 요약된 케이스 쌍에 대해 미세조정된 BERT를 통해 재랭킹 성능을 최적화한다.
• 어휘 검색 모델과 의미 검색 모델을 조합함으로써 법적 정보 검색 작업에서 정밀도와 재현율을 향상시킬 수 있음을 입증한다.

제안 방법

• BERT의 입력 길이 제한 문제를 해결하기 위해 쿼리 및 코퍼스 케이스를 문단으로 분할하여 문단 수준의 검색을 가능하게 한다.
• 문단 수준의 검색을 위해 BM25와 lawDPR(법적 함의 쌍으로 미세조정된 모델)를 적용하고, 점수 조합을 위해 가중 융합을 사용한다.
• 입력 길이를 줄이기 위해 Longformer-Encoder-Decoder(LED)를 미세조정하여 법적 케이스의 개괄적 요약을 생성한다.
• 요약된 쿼리-케이스 및 문서-케이스 쌍을 이진 분류 입력으로 간주하여 BERT를 사용해 재랭킹을 수행한다.
• BM25와 lawDPR 점수를 가중 융합(예: [4,1])하여 제1단계 검색의 재현율과 정밀도를 향상시킨다.
• 검증 및 테스트 세트에서 표준 정보 검색 메트릭을 사용해 COLIEE 2021 Task 1(케이스 검색)과 Task 2(법적 케이스 함의)에서 평가한다.

실험 결과

연구 질문

• RQ1 법적 케이스 검색 작업에서 문단 수준의 검색이 문서 수준의 검색보다 우수한가?
• RQ2 도메인 특화 임베딩(lawDPR)을 사용한 밀도적 검색이 법적 케이스 검색에서 어휘 검색(BM25)보다 우수한가?
• RQ3 신경 재랭킹 이전에 법적 케이스를 요약함으로써 검색 효과성이 향상되는가?
• RQ4 어휘 검색 모델과 밀도적 검색 모델의 조합이 법적 정보 검색에서 정밀도와 재현율을 향상시키는 데 얼마나 효과적인가?
• RQ5 법적 케이스 검색 및 함의 문제에서 BM25와 lawDPR 점수를 조합할 때 최적의 가중 전략은 무엇인가?

주요 결과

• BM25 및 lawDPR 기반 모델 모두에서 문단 수준의 검색이 문서 수준의 검색보다 높은 재현율을 기록하며, 성능이 뛰어나다.
• lawDPR가 BM25보다 높은 검색 재현율을 기록하여, 밀도적 의미 검색이 법적 도메인에서 효과적임을 입증한다.
• BM25와 lawDPR를 가중 융합(예: [4,1])한 조합이 Task 2(법적 함의)의 테스트 세트에서 최고의 F1 스코어 0.6922를 기록하였다.
• BM25만으로도 Task 2의 테스트 세트에서 최고 성능을 기록하여 정밀도 0.6300, 재현율 0.5953, F1 스코어 0.6121를 기록하였다.
• 요약된 케이스를 사용한 재랭킹 접근법은 효과성을 향상시키지 못했으며, 이 설정에서 요약의 이점이 제한적임을 시사한다.
• BM25와 lawDPR의 조합은 상호보완적인 강점을 보이며, 하이브리드 모델이 검증 및 테스트 세트에서 양측 개별 모델을 모두 초월하였다.