[논문 리뷰] Justifiable Artificial Intelligence: Engineering Large Language Models for Legal Applications

Sabine Wehnert|arXiv (Cornell University)|2023. 11. 27.

Artificial Intelligence in Law인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 법적 응용 분야에서 설명 가능성 AI(Explainable AI, XAI)의 대안으로 정당화 가능한 인공지능(Justifiable Artificial Intelligence, JAI)을 제안한다. LLM의 출력을 신뢰할 수 있는 출처에서 확인할 수 있는 증거—즉, 주장에 찬성하거나 반대하는 자료—기반으로 근거화함으로써 JAI는 LLM의 본질적 '환각' 현상과 투명성 부족에도 불구하고 법조인들이 AI가 도출한 추론을 평가하고 검증할 수 있도록 하여 신뢰도와 책임성을 향상시킨다.

ABSTRACT

In this work, I discuss how Large Language Models can be applied in the legal domain, circumventing their current drawbacks. Despite their large success and acceptance, their lack of explainability hinders legal experts to trust in their output, and this happens rightfully so. However, in this paper, I argue in favor of a new view, Justifiable Artificial Intelligence, instead of focusing on Explainable Artificial Intelligence. I discuss in this paper how gaining evidence for and against a Large Language Model's output may make their generated texts more trustworthy - or hold them accountable for misinformation.

연구 동기 및 목표

• LLM의 투명성 부족과 환각 경향으로 인해 법적 분야에서 신뢰가 부족한 문제를 해결하기 위해.
• 모델의 해석 가능성에 초점을 맞춘 설명 가능성 AI(XAI)에서 벗어나, 근거 기반 검증에 초점을 맞춘 정당화 가능한 AI(JAI)로의 전환을 제안하기 위해.
• 생성된 주장에 찬성 및 반대하는 근거를 제공함으로써 법조인이 LLM 출력을 평가할 수 있도록 하기 위해.
• 체계적인 증거 인용을 통해 법적 AI 응용 분야에서의 오락성 및 편향 위험을 완화하기 위해.
• 고위험 법적 맥락에서 LLM의 책임 있는 배포를 위한 실용적 프레임워크로 JAI를 위치시키기 위해.

제안 방법

• LLM의 주장과 일치하거나 이를 반박하는 관련 법적 자료를 식별하기 위해 정보 검색과 함의 분류 기법을 통합하기 위해.
• LLM 출력을 참조 가능한 신뢰할 수 있는 법적 문서에 기반하게 하기 위해 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기법을 활용하기 위해.
• 외부 증거를 사용하여 LLM이 생성한 진술의 정확성을 검증하기 위해 사실 확인 파이프라인을 적용하기 위해.
• 이중 증거 프레임워크를 구축하여 찬성 및 반대 자료를 동시에 제시함으로써 균형 잡힌 평가를 가능하게 하기 위해.
• 검색된 증거의 관련성과 일관성을 평가하기 위해 의미적 유사도 및 자연어 함의(Natural Language Inference, NLI)와 같은 기존 NLP 기법을 활용하기 위해.
• LLM이 단순한 생성자뿐만 아니라, 추적 가능한 출처를 제시하고 자신의 출력을 정당화할 수 있는 감시자 역할을 할 수 있도록 시스템을 설계하기 위해.

Figure 1: Pipeline for prompting an LLM to extract evidence from documents, adapted from Louis et al. [ 65 ] .

실험 결과

연구 질문

• RQ1 LLM의 설명 가능성 부족에도 불구하고, 법적 응용 분야에서 LLM을 어떻게 더 신뢰할 수 있게 만들 수 있는가?
• RQ2 설명 가능성 AI(XAI)의 대안으로 법적 LLM 출력의 책임성과 검증 가능성을 보장할 수 있는 방법은 무엇인가?
• RQ3 신뢰할 수 있는 법적 자료에서 체계적으로 증거를 검색하고 인용하여 LLM이 생성한 주장에 정당성을 부여할 수 있는 방법은 무엇인가?
• RQ4 법적 추론을 위한 정당화 가능한 AI 프레임워크를 구현할 때 발생하는 기술적 및 윤리적 과제는 무엇인가?
• RQ5 찬성 및 반대 자료를 모두 포함하는 이중 증거 접근 방식이 법적 AI 시스템에서 사용자 신뢰도 및 의사결정 향상에 기여할 수 있는가?

주요 결과

• 정당화 가능한 인공지능(JAI)은 모델의 투명성보다는 검증 가능한 증거에 초점을 맞추므로 설명 가능성 AI(XAI)의 실용적 대안가능성을 지닌다.
• LLM이 생성한 주장은 찬성하거나 반박하는 신뢰할 수 있는 법적 자료를 검색하고 인용함으로써 검증될 수 있다.
• 이 프레임워크는 법조인이 증거를 검토함으로써 AI 출력의 신뢰성을 평가할 수 있도록 하여, 검증되지 않은 주장에 대한 의존도를 감소시킨다.
• 현재의 LLM은 환각 현상과 데이터 기원의 부재로 인해 문제가 되지만, JAI는 증거 인용을 통해 이를 완화할 수 있다.
• JAI는 모델의 완전한 해석 가능성은 필요로 하지 않지만, 추적 가능하고 인용 가능한 자료를 통해 책임성을 확보한다.
• 사실 확인 및 정보 검색 기법을 LLM과 통합함으로써 법적 AI 응용 분야의 신뢰도를 크게 향상시킬 수 있다.

Figure 2: Pipeline for fact-checking a claim made by an LLM