[논문 리뷰] Case law retrieval: problems, methods, challenges and evaluations in the last 20 years

Daniel B Locke, Guido Zuccon|arXiv (Cornell University)|2022. 02. 15.

Artificial Intelligence in Law인용 수 8

한 줄 요약

이 종합 검토는 최근 30년간의 판례 검색 기술 발전 상황을 분석하며, 표준화된 테스트 컬렉션 부족과 광범위한 광고형 검색에서의 순위 매기기 연구 부족과 같은 주요 과제를 밝혀낸다. 자연어 처리와 기계학습을 활용한 상용 시스템의 지배적 위치를 강조하면서도, 학술 연구의 발전을 위해 공개 기반 테스트 컬렉션과 대규모 평가 기준이 필요하다고 주장한다.

ABSTRACT

Case law retrieval is the retrieval of judicial decisions relevant to a legal question. Case law retrieval comprises a significant amount of a lawyer's time, and is important to ensure accurate advice and reduce workload. We survey methods for case law retrieval from the past 20 years and outline the problems and challenges facing evaluation of case law retrieval systems going forward. Limited published work has focused on improving ranking in ad-hoc case law retrieval. But there has been significant work in other areas of case law retrieval, and legal information retrieval generally. This is likely due to legal search providers being unwilling to give up the secrets of their success to competitors. Most evaluations of case law retrieval have been undertaken on small collections and focus on related tasks such as question-answer systems or recommender systems. Work has not focused on Cranfield style evaluations and baselines of methods for case law retrieval on publicly available test collections are not present. This presents a major challenge going forward. But there are reasons to question the extent of this problem, at least in a commercial setting. Without test collections to baseline approaches it cannot be known whether methods are promising. Works by commercial legal search providers show the effectiveness of natural language systems as well as query expansion for case law retrieval. Machine learning is being applied to more and more legal search tasks, and undoubtedly this represents the future of case law retrieval.

연구 동기 및 목표

• 최근 30년간 판례 검색 분야의 진전 상황, 문제점, 활용 방법을 평가하기 위해.
• 광고형 판례 검색 시스템 평가의 주요 장벽으로서 공개 테스트 컬렉션 부족과 표준화된 기반 기준의 결여를 특정하기 위해.
• 불리어 검색에서 자연어 질의로의 전환과 현대 법적 검색 시스템에서 기계학습의 역할을 분석하기 위해.
• 법적 검색 분야에서 상용 시스템의 지배적 지위와 그로 인한 순위 효과성에 대한 공개 연구 부족을 부각하기 위해.
• 향후 학술 연구를 지원하기 위해 대규모 공개 테스트 컬렉션과 기반 기준의 구축을 주장하기 위해.

제안 방법

• 1990년에서 2023년 사이의 판례 검색 관련 문헌에 대한 체계적 검토를 통해 방법, 과제, 평가 관행을 분석한다.
• 불리어, 벡터 공간, 확률론적, 학습-정렬 기반 접근법을 포함한 검색 모델 분석을 수행한다.
• 상용 시스템이 질의 확장, 사용자 로그, 기계학습을 활용하지만 공개 평가가 제한적인 점을 검토한다.
• 인용, 관할권, 법원 계층, 판결 간 시간 간격 등 도메인 특화 기능이 검색 모델에서 다소 간과되고 있음을 규명한다.
• 의미적 표현과 기능별 문서 분할을 통한 표현 방식이 유망한 연구 방향으로 부각된다.
• 정규 평가와 표준화된 테스트 컬렉션을 통한 공정한 검색 방법 비교를 가능하게 하기 위해 촉구한다.

실험 결과

연구 질문

• RQ1 최근 30년간 판례 검색에서 주로 사용된 방법과 모델은 무엇인가?
• RQ2 상용 시스템의 발전에도 불구하고 광고형 판례 검색에서의 순위 효과성에 대한 공개 연구가 부족한 이유는 무엇인가?
• RQ3 상용 법적 검색 제공자가 공개 평가나 테스트 컬렉션 없이도 높은 성능을 달성하는 방법은 무엇인가?
• RQ4 인용, 관할권, 사건 간 시간적 관계가 검색 성능 향상에 어떤 역할을 하는가?
• RQ5 의미적 표현과 문서 구조 인식 표현 방식이 판례 검색 성능 향상에 얼마나 기여할 수 있는가?

주요 결과

• 광고형 판례 검색은 자연어 질의와 기계학습의 광범위한 활용에도 불구하고, 순위 매기기 관련 공개 연구가 제한적이다.
• 상용 제공자는 기밀 유지된 방법, 질의 로그, 질의 확장을 활용하지만 평가 결과를 공개하지 않아 학술적 기준 설정이 어려운 상황이다.
• 공개 가능한 테스트 컬렉션과 기반 기준의 부재로 신규 방법 평가나 시스템 간 성능 비교가 어려운 상황이다.
• 법적 의미에서 중요한 인용, 법원 관계, 사건 간 시간적 근접성 등 특성들이 검색 모델에서 여전히 미흡하게 활용되고 있다.
• 의미적 검색과 문서 구조 인식 표현 방식은 유망한 연구 분야이지만 아직 탐색되지 않은 영역이다.
• 향후 판례 검색의 방향은 자연어 처리와 질문-답변 시스템에 있다. 그러나 학술적 진전은 접근 가능한 대규모 테스트 컬렉션에 달려 있다.