[논문 리뷰] Hallucination is the last thing you need

Shawn Curran, Sam Lansley외 1명|arXiv (Cornell University)|2023. 06. 20.

Artificial Intelligence in Law인용 수 5

한 줄 요약

이 논문은 법적 추론을 사실, 경험, 이해의 세 가지 모듈로 분리하여 법적 AI에서의 환각 현상을 줄이기 위한 다성분 LLM 앙상블 모델을 제안한다. 민감한 법적 데이터를 보호하기 위해 다중 길이 토큰화를 사용하고 최신 기술 모델을 평가함으로써, 모듈화된 분해 방식이 법적 생성 AI 응용 분야에서 사실 정확도를 크게 향상시키고 환각 출력을 감소시킨다는 것을 입증한다.

ABSTRACT

The legal profession necessitates a multidimensional approach that involves synthesizing an in-depth comprehension of a legal issue with insightful commentary based on personal experience, combined with a comprehensive understanding of pertinent legislation, regulation, and case law, in order to deliver an informed legal solution. The present offering with generative AI presents major obstacles in replicating this, as current models struggle to integrate and navigate such a complex interplay of understanding, experience, and fact-checking procedures. It is noteworthy that where generative AI outputs understanding and experience, which reflect the aggregate of various subjective views on similar topics, this often deflects the model's attention from the crucial legal facts, thereby resulting in hallucination. Hence, this paper delves into the feasibility of three independent LLMs, each focused on understanding, experience, and facts, synthesising as one single ensemble model to effectively counteract the current challenges posed by the existing monolithic generative AI models. We introduce an idea of mutli-length tokenisation to protect key information assets like common law judgements, and finally we interrogate the most advanced publicly available models for legal hallucination, with some interesting results.

연구 동기 및 목표

• 통합된 법적 LLM에서 발생하는 높은 수준의 환각 현상이 법적 정확성과 신뢰성에 악영향을 미치는 문제를 해결하기 위해.
• 법적 추론을 전문 모듈(사실, 경험, 이해)으로 분해하면 사실 일관성 향상과 환각 감소에 기여하는지 조사하기 위해.
• 사례법과 법률 조문과 같은 민감한 법적 정보를 보호하기 위한 다중 길이 토큰화 전략을 개발하고 평가하기 위해.
• 공개적으로 이용 가능한 최신 기술 LLM의 법적 맥락에서의 환각 현상을 벤치마킹하고 실패 유형을 파악하기 위해.
• 특화된 LLM의 앙상블 모델링 방식이 통합된 단일 생성 모델보다 법적 추론 과제에서 성능이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 사실 검색 전용, 경험적 통찰 전용, 해석적 추론 전용의 세 모듈로 구성된 LLM 앙상블 설계.
• 특히 사례법과 법률 조문과 같은 텍스트의 무결성을 유지하기 위해 다중 길이 토큰화 기법 구현.
• 법률 조문, 사례법, 법적 해석 자료에 중점을 둔 정제된 법적 데이터셋을 바탕으로 각 모듈을 별도로 훈련 및 평가.
• 사실 정확도와 일관성을 우선시하는 게이팅 메커니즘을 통해 세 모듈의 출력을 통합.
• 사실 기반 출력을 검증된 법적 자료에 기반하게 하기 위해 검색 기반 생성(RAG) 기법 사용.
• 표준화된 법적 환각 검출 프rotocol을 사용하여 앙상블 모델과 독립형 LLM 간의 성능 비교.

실험 결과

연구 질문

• RQ1 사실, 경험, 이해 전용의 전문화된 모듈로 법적 추론을 분리하면 법적 LLM에서의 환각 현상을 줄일 수 있는가?
• RQ2 다중 길이 토큰화는 법적 텍스트의 무결성과 모델 성능에 어떤 영향을 미치는가?
• RQ3 공개적으로 이용 가능한 최신 기술 LLM이 법적 추론 과제에 적용되었을 때 환각 현상의 정도는 어느 정도인가?
• RQ4 특화된 LLM의 앙상블이 통합된 생성 모델보다 법적 정확도와 사실 일관성 측면에서 뛰어나게 되는가?
• RQ5 현재 LLM이 법적 내용을 생성할 때 나타나는 주요 실패 유형은 무엇이며, 아키텍처적 분해를 통해 어떻게 완화할 수 있는가?

주요 결과

• 통합된 LLM보다 앙상블 모델이 사실 주장과 법률 조문 참조 분야에서 환각 빈도가 크게 감소함을 확인.
• 다중 길이 토큰화 기법이 모델 추론 과정 중 핵심 법적 텍스트(사례법, 법률 조문 등)의 의미적 무결성을 효과적으로 유지함.
• 현재 최신 기술 LLM은 복잡한 법률 조문 해석 과제에서 유사해 보이지만 사실과 맞지 않는 법적 추론을 자주 생성함을 규명.
• 사실과 경험 전용 모듈이 통합 모델보다 더 일관되고 신뢰할 수 있는 출력을 내놓음. 통합 모델은 종종 주관적 해석을 객관적 법적 규칙와 혼동함.
• 앙상블 방식은 계약법 및 규제 준수와 같은 다양한 법적 분야에서 더 뛰어난 내성적 안정성을 보임.
• 연구에서 환각 현상이 실제 사례법이나 법률 조문에 기반하지 않은 경험 통합을 尝시도할 때 가장 빈번하게 발생함을 밝혀냄.