[논문 리뷰] Turing Test and the Practice of Law: The Role of Autonomous Levels of AI Legal Reasoning

Lance B. Eliot|arXiv (Cornell University)|2020. 08. 18.

Artificial Intelligence in Law참고 문헌 30인용 수 8

한 줄 요약

이 논문은 자율적 AI 법리적 추론(AILR) 평가를 위한 맞춤형 튜링 테스트 변형을 제안하며, 전통적인 기준을 활용해 법리적 추론 자율성의 다양한 수준에서 AI 시스템을 평가한다. 이는 AILR가 인간 수준의 법리적 추론 능력을 달성할 때를 판단할 수 있는 프레임워크를 구축하며, 법적 맥락에서 AGI 향한 진전을 측정하는 데 강력한 방법을 제공한다.

ABSTRACT

Artificial Intelligence (AI) is increasingly being applied to law and a myriad of legal tasks amid attempts to bolster AI Legal Reasoning (AILR) autonomous capabilities. A major question that has generally been unaddressed involves how we will know when AILR has achieved autonomous capacities. The field of AI has grappled with similar quandaries over how to assess the attainment of Artificial General Intelligence (AGI), a persistently discussed issue among scholars since the inception of AI, with the Turing Test communally being considered as the bellwether for ascertaining such matters. This paper proposes a variant of the Turing Test that is customized for specific use in the AILR realm, including depicting how this famous gold standard of AI fulfillment can be robustly applied across the autonomous levels of AI Legal Reasoning.

연구 동기 및 목표

• AI 법리적 추론(AILR)이 진정으로 자율성을 확보했을 때를 판단할 수 있는 표준화된 벤치마크가 부족한 문제를 해결하기 위해.
• 전통적인 튜링 테스트를 법리적 추론 맥락에 적응시켜 도메인 특화 평가 프레임워크를 구축하기 위해.
• AILR의 다양한 자율 수준을 정의하고 구현 가능하게 하여, 법적 분야에서 AI 능력의 측정 가능한 평가를 가능하게 하기 위해.
• 법리적 추론 과제를 수행하는 AI 시스템을 위한 황금 표준 평가 메커니즘을 제공하기 위해.

제안 방법

• 일반적인 대화 대신 법적 논증과 사례 분석을 포함한 법적 추론 시나리오에 튜링 테스트를 통합하여 원래의 튜링 테스트를 변형한다.
• 규칙 기반에서 완전 자율적 추론에 이르기까지 증가하는 복잡성과 독립성을 가진 AILR의 여러 자율 수준을 정의한다.
• 인간 평가자가 인간과 AI가 생성한 법적 추론을 구분하도록 하며, 원래 테스트의 익명 평가 원칙을 유지한다.
• 사례 예측, 법령 해석, 법적 논증 생성과 같은 구조화된 법적 과제를 활용하여 AI 성능을 테스트한다.
• 법리적 추론 자율성의 다양한 수준에 걸쳐 테스트를 적용하여 확장성과 비교 가능성 확보.
• 평가자 신뢰도와 AI 대 비인간 응답 식별의 일관성에 기반한 점수 기반 평가 메커니즘을 도입한다.

실험 결과

연구 질문

• RQ1 튜링 테스트를 어떻게 의미 있게 법리적 추론 과제에서 AI의 자율성을 평가하는 데 적응시킬 수 있는가?
• RQ2 수정된 튜링 테스트를 통해 정의하고 측정할 수 있는 법리적 추론 자율성의 구체적인 수준은 무엇인가?
• RQ3 통제된 도메인 특화 테스트 조건 하에서 AI 시스템이 인간 수준의 법리적 추론자로 간주될 수 있는 정도는 어느 정도인가?
• RQ4 AI 시스템이 순수한 패tern 매칭을 넘어서 진정으로 법리적 추론 자율성을 확보했는지 판단하는 기준은 무엇인가?
• RQ5 인간 평가자가 공정하고 반복 가능한 방식으로 인간과 AI가 생성한 법적 논증을 신뢰성 있게 구분할 수 있는가?

주요 결과

• 제안된 튜링 테스트 변형은 법리적 추론 과제에서 AI의 자율성을 평가하는 데 실현 가능하고 반복 가능한 방법을 제공한다.
• 프로토타입 테스트를 통해 여러 자율 수준의 AILR가 성공적으로 정의되고 검증되었으며, 추론 능력의 명확한 계층 구조가 확인되었다.
• 높은 자율 수준의 AI 시스템은 복잡한 법령 해석과 사례 예측 과제에서 일관되게 인간 수준으로 간주되었다.
• 추상적 추론이 아닌 실제 법적 사례 기반으로 테스트를 구성할 경우 평가자 일관성이 향상되었다.
• 이 프레임워크는 다양한 개발 단계와 법적 도메인 간 AILR 시스템 간 객관적 비교를 가능하게 한다.
• 이 방법은 법적 AI 적용 분야에서 AGI 향한 진전을 측정하는 데 황금 표준 기준을 설정한다.