[논문 리뷰] Unlocking Legal Knowledge with Multi-Layered Embedding-Based Retrieval

João Alberto de Oliveira Lima|arXiv (Cornell University)|2024. 11. 12.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 브라질의 민법 체계와 같이 복잡한 법적 문헌에서의 키워드 기반 검색의 한계를 해결하고자, 개별 조항, 조문, 단락, 그리고 제목 및 장과 같은 구조적 그룹화 수준에서 다중 군집성의 의미를 포착하는 다층 임bedding 기반 검색 시스템을 제안한다. 계층적 임베딩과 의미적 청크화를 활용함으로써, 이 방법은 Retrieval Augmented Generation (RAG) 성능을 향상시켜 특히 맥락적 깊이가 필요한 복잡한 질의에서 정확성과 관련성 향상을 크게 개선한다.

ABSTRACT

This work addresses the challenge of capturing the complexities of legal knowledge by proposing a multi-layered embedding-based retrieval method for legal and legislative texts. Creating embeddings not only for individual articles but also for their components (paragraphs, clauses) and structural groupings (books, titles, chapters, etc), we seek to capture the subtleties of legal information through the use of dense vectors of embeddings, representing it at varying levels of granularity. Our method meets various information needs by allowing the Retrieval Augmented Generation system to provide accurate responses, whether for specific segments or entire sections, tailored to the user's query. We explore the concepts of aboutness, semantic chunking, and inherent hierarchy within legal texts, arguing that this method enhances the legal information retrieval. Despite the focus being on Brazil's legislative methods and the Brazilian Constitution, which follow a civil law tradition, our findings should in principle be applicable across different legal systems, including those adhering to common law traditions. Furthermore, the principles of the proposed method extend beyond the legal domain, offering valuable insights for organizing and retrieving information in any field characterized by information encoded in hierarchical text.

연구 동기 및 목표

• 브라질의 민법 체계와 같이 복잡한 민법 체계에서 키워드 기반 검색의 한계를 해결하기 위해.
• 입법 텍스트 내에서 다중 수준의 정교성에서 의미 관계를 모델링하여 법적 정보 검색을 향상시키기 위해.
• 의도에 맞는 다중 수준의 법적 내용 검색을 가능하게 하여 Retrieval Augmented Generation (RAG) 시스템을 향상시키기 위해.
• 법적 텍스트 표현에서 '관련성', 의미적 청크화, 내재된 계층성의 역할을 탐색하여 검색 성능을 향상시키기 위해.
• 이 방법이 브라질 법을 넘어 다른 법 체계와 계층적 텍스트 도메인으로의 일반화 가능성을 입증하기 위해.

제안 방법

• 이 방법은 개별 조항, 조문, 단락, 그리고 구조적 그룹화(예: 책, 제목, 장) 수준에서 법적 텍스트 구성 요소에 대한 조밀한 벡터 임베딩을 생성한다.
• 장문의 텍스트를 의미적으로 일관된 단위로 분할하기 위해 의미적 청크화를 적용하여 맥락의 무결성을 유지한다.
• Transformer 기반 모델을 사용하여 임베딩을 계산하고, 더 큰 섹션을 표현하기 위해 산술 평균을 통한 계층적 집계를 실시한다.
• 질의의 의미를 다양한 수준에서 관련 텍스트 단위와 일치시키기 위해 관련성 모델링을 활용한다.
• 질의 임베딩과 문서 청크 임베딩 간의 벡터 유사도(예: 코사인 유사도)를 사용하여 검색을 수행한다.
• 수집된 청크는 이후 LLM 기반 RAG 파이프라인의 맥락으로 사용되어 정확하고 맥락에 기반한 법적 응답을 생성한다.

실험 결과

연구 질문

• RQ1 다중 수준의 임베딩은 법적 정보 검색의 정확성과 관련성에 어떻게 기여하는가?
• RQ2 계층적 의미 청크화는 복잡한 법적 질의에 대한 검색 성능을 어느 정도 향상시키는가?
• RQ3 관련성 인식 검색은 사용자 질의와 관련된 법적 텍스트 단위 간의 일치를 어떻게 향상시키는가?
• RQ4 다층 검색은 법적 RAG 시스템에서 평탄한 단일 수준의 임베딩 접근법에 비해 어떻게 비교되는가?
• RQ5 제안된 방법은 다른 법 체계와 계층적 텍스트 도메인으로 얼마나 일반화 가능한가?

주요 결과

• 다층 접근법은 더 높은 검색 관련성을 달성했으며, 다층 RAG 응답은 브라질 헌법의 제5조, 제74조 및 제134조를 모두 참조한 반면, 평탄한 접근법은 제5조의 기본 권리 부분을 생략했다.
• 다층 방법은 Q8에 대해 유사도 점수 ≥ 0.367인 7개의 핵심 청크(E)를 검색했으며, 이 중에는 핵심적인 제5조, 본문, 제74조(유사도: 0.367759)가 포함되어 있었는데, 이는 평탄한 방법이 이를 놓쳤다.
• 평탄한 방법은 총 8개의 청크만 검색했고, 가장 관련성이 높은 것은 제134조(유사도: 0.367547)였지만, 제5조의 기본 권리 부분을 포함하지 못해 의미적 커버리지의 격차가 있었다.
• 다층 접근법은 맥락의 완전성을 뛰어나게 보여주었으며, 이는 제5조의 무료 법적 지원 권리와 제134조의 기관적 프레임워크를 모두 포함함으로써 더 포괄적인 답변을 도출했다.
• 시스템의 계층적 구조는 특정 규정과 더 넓은 기관적 프레임워크를 모두 검색할 수 있게 해주었으며, 다수 수준의 이해가 필요한 복잡한 질의를 지원했다.
• 이 방법의 설계는 브라질 민법을 넘어 공법 체계와 다른 계층적 텍스트 도메인으로의 일반화를 지원하며, 잠재적으로 적용 가능성이 있다.