[논문 리뷰] Legal Question-Answering in the Indian Context: Efficacy, Challenges, and Potential of Modern AI Models

Shubham Kumar Nigam, Shubham Kumar Mishra외 3명|arXiv (Cornell University)|2023. 09. 26.

Topic Modeling인용 수 5

한 줄 요약

이 연구는 최신 AI 모델이 인도 형사법 영역의 법적 질문에 답하는 데 있어 성능을 평가한다. GPT-3 Davinci를 사용하여 최적화된 프롬프팅 및 임bedding 전략을 적용하였으며, 결과적으로 GPT-3 기반 생성 모델이 ChatGPT와 인간 변호사보다 정확도와 관련성 면에서 뛰어난 성능을 보였다. Ada + Davinci 조합이 가장 높은 전문가 평가 점수를 기록했고, 환상(hallucination)도 최소화되었다.

ABSTRACT

Legal QA platforms bear the promise to metamorphose the manner in which legal experts engage with jurisprudential documents. In this exposition, we embark on a comparative exploration of contemporary AI frameworks, gauging their adeptness in catering to the unique demands of the Indian legal milieu, with a keen emphasis on Indian Legal Question Answering (AILQA). Our discourse zeroes in on an array of retrieval and QA mechanisms, positioning the OpenAI GPT model as a reference point. The findings underscore the proficiency of prevailing AILQA paradigms in decoding natural language prompts and churning out precise responses. The ambit of this study is tethered to the Indian criminal legal landscape, distinguished by its intricate nature and associated logistical constraints. To ensure a holistic evaluation, we juxtapose empirical metrics with insights garnered from seasoned legal practitioners, thereby painting a comprehensive picture of AI's potential and challenges within the realm of Indian legal QA.

연구 동기 및 목표

• 인도 고유의 형사법 체계 내에서 복잡한 법적 질문에 대해 현대 AI 모델의 효능을 평가하는 것.
• 인도 법적 도메인 과제에 최적화된 임bedding 및 질문-답변 모델 조합을 특정하는 것.
• 전문가 평가를 통해 생성형 AI 모델의 신뢰성과 정확도를 인간 법적 전문가와 비교 평가하는 것.
• 인도 법적 QA 데이터셋 및 벤치마크의 부족을 보완하기 위해 종합적인 평가 프레임워크를 구축하는 것.
• 소수의 예시 프롬프팅 및 사고의 흐름 기법이 법적 AI 시스템의 추론 능력을 향상시키는 데 기여하는지 탐색하는 것.

제안 방법

• 법적 QA에 대한 기본 생성 모델로 OpenAI GPT-3 Davinci 모델을 활용하였다.
• 네 가지 임bedding 모델(Ada, Instructor, BM25, GPT-3)과 두 가지 QA 모델(Davinci 및 Flan-UL2)을 조합한 여덟 가지 실험 설정을 평가하였다.
• 문자적 평가 지표(ROUGE-1, ROUGE-2, ROUGE-L, BLEU)와 MPNET 임bedding를 활용한 의미적 유사도를 적용하였다.
• 법률 전문가들이 참가한 5점 척도 평가를 통해 답변 품질, 관련성 및 정확도를 평가하였다.
• GPT-3 모델이 전체 법적 문헌에서 맥락에 맞는 답변을 생성하도록 유도하기 위해 프롬프트 엔지니어링을 적용하였다.
• 정보 검색 기반 생성 기법을 사용하여, 초기 검색에는 BM25를, 답변 생성에는 GPT-3를 활용하였다.

실험 결과

연구 질문

• RQ1 다양한 임bedding 및 QA 모델 조합이 인도 형사법 질문에 대해 정확한 답변을 생성하는 데 어떻게 성능을 내는가?
• RQ2 GPT-3 기반 모델이 인도 법적 맥락 내에서 전통적인 검색 기반 시스템과 ChatGPT 모두를 능가할 수 있는가?
• RQ3 생성형 AI 모델이 답변 품질과 관련성 면에서 전문가의 법적 판단과 얼마나 일치하는가?
• RQ4 프롬프트 엔지니어링은 법적 AI 응답에서 환상과 사실 일관성을 줄이는데 어떤 역할을 하는가?
• RQ5 의미적 및 문장적 평가 지표는 법적 질문-답변 시스템에서 인간 전문가 평가와 어떻게 상관관계가 있는가?

주요 결과

• GPT-3(Ada) 기반 임bedding 모델이 다른 임bedding 모델보다 법적 QA 과제에서 고품질 답변을 생성하는 데 뛰어난 성능을 보였다.
• GPT-3(Davinci) 모델은 ROUGE, BLEU, 전문가 평가 등 모든 평가 지표에서 일관되게 가장 높은 답변 품질을 제공하였다.
• Ada + Davinci 조합이 평균 전문가 평가 점수 4.2점(5점 만점)을 기록했으며, 50개의 답변 중 21개가 '5점'(우수)으로 평가되었다.
• 최적화된 프롬프팅을 적용한 GPT-3 기반 모델은 인간 변호사의 답변보다 정확도와 관련성 면에서 뛰어나며, 환상의 사례도 없었다.
• Flan-UL2 및 LongFormer 모델은 의미적 이해와 전문가 평가 일치도 면에서 열악한 성능을 보였으며, 전문가 평가 평균 점수는 5점 만점에 2.0 이하였다.
• BM25 + Davinci 파이프라인은 모든 GPT-3 기반 설정보다 열악한 성능을 보였으며, 이는 복잡한 법적 추론 과제에 대해 검색 중심 접근법만으로는 부족하다는 것을 시사한다.