[논문 리뷰] Promises and pitfalls of artificial intelligence for legal applications

Sayash Kapoor, Peter Henderson외 1명|arXiv (Cornell University)|2024. 01. 10.

Artificial Intelligence in Law인용 수 7

한 줄 요약

논문은 AI가 아직 법률 직업을 재정의하고 있지 않다고 주장하고, 정보 처리, 창의성/판단, 예측에 걸친 AI 활용을 조사하며 평가의 도전과 책임 있는 배치를 위한 권고를 강조한다.

ABSTRACT

Is AI set to redefine the legal profession? We argue that this claim is not supported by the current evidence. We dive into AI's increasingly prevalent roles in three types of legal tasks: information processing; tasks involving creativity, reasoning, or judgment; and predictions about the future. We find that the ease of evaluating legal applications varies greatly across legal tasks, based on the ease of identifying correct answers and the observability of information relevant to the task at hand. Tasks that would lead to the most significant changes to the legal profession are also the ones most prone to overoptimism about AI capabilities, as they are harder to evaluate. We make recommendations for better evaluation and deployment of AI in legal contexts.

연구 동기 및 목표

• AI가 정보처리, 창의성/판단, 예측 응용 전반에서 법률 업무에 의미 있게 어떻게 도움을 줄 수 있는지 평가한다.
• 각 작업 범주에서 AI 성능 평가의 용이성 또는 어려움을 평가한다.
• 일반적인 평가 함정 식별 및 실제 적용성과 안전성을 개선하기 위한 관행 제안.
• 구성 타당성과 이해관계자 참여에 주목하여 법적 맥락에서 AI를 배치하기 위한 모범 사례를 권고한다.

제안 방법

• Diver 등 Typology에 맞춰 법률 AI 적용을 정보처리, 창의성/판단, 예측의 세 가지 광범위한 유형으로 분류한다.
• 범주별로 AI 성능을 평가하기 위해 작업 특징의 평가 용이성과 관찰 가능성을 논의한다.
• 법률 업무에서의 언어 모델에 대한 오염, 구성 타당성의 결여, 프롬프트 민감성을 핵심 평가 도전으로 분석한다.
• 구성 타당성 및 현실적 적용성을 개선하기 위해 법률 및 AI 관점의 권고를 종합한다.

실험 결과

연구 질문

• RQ1 AI가 적용되는 주요 법률 업무 범주는 무엇이며, 이들이 평가 가능성에서 어떻게 다른가?
• RQ2 오염, 구성 타당성, 프롬프트 민감성 등 평가 도전과제가 법률 업무에서의 AI 성능 평가에 어떤 영향을 미치는가?
• RQ3 법률 맥락에서 신뢰할 수 있고 안전한 AI 배치를 극대화하는 관행과 설정은 무엇인가?
• RQ4 법률에서 과도한 낙관주의와 오용을 피하기 위해 AI를 어떻게 평가하고 배치해야 하는가?

주요 결과

• 작업에 따라 평가 용이성은 다르다; 정보 처리 작업은 보통 더 명확한 정답과 관찰 가능한 특징이 있어 평가가 더 쉽다.
• 창의성, 추론 또는 판단 작업은 단일의 정답이 없고 평가하기 어려워 중요한 법적 과제에서 AI 능력에 대한 과도한 낙관을 초래할 수 있다.
• 생성형 AI는 정보 처리의 혁명이 아니며 특정 분야에 특화된 법률 도구와 비교했을 때 일부 작업에서 성능이 저하될 수 있다.
• 데이터 오염, 구성 타당성 결여, 프롬프트 민감성 등의 평가 문제는 AI 성능을 과대 평가하고 실제 활용 가치를 잘못 나타낼 수 있다.
• 권고사항은 평가에 법률 전문가를 참여시키고, 자연스러운 상황별 및 작업 특성 평가를 개발하며, 사용자가 AI의 한계를 명확히 이해하도록 소통하는 것을 강조한다.
• 배치를 좁고 정의된 설정에서 관찰 가능성이 높고 평가가 견고한 환경으로 실행하여 잘못되거나 해로운 출력의 위험을 줄인다.