[논문 리뷰] Large Language Models as Fiduciaries: A Case Study Toward Robustly Communicating With Artificial Intelligence Through Legal Standards

John J. Nay|arXiv (Cornell University)|2023. 01. 24.

Law, AI, and Intellectual Property인용 수 5

한 줄 요약

이 논문은 법적 기준에 따라 대규모 언어 모델(Large Language Models, LLMs)을 신뢰관계자로 간주함으로써 AI 시스템에서 모호한 목표를 강력하고 맥락 민감한 방식으로 소통할 수 있도록 제안한다. 미국 법원 판결문을 활용한 실증 연구를 통해 LLMs—특히 OpenAI의 최신 모델—가 신뢰관계 의무를 이해하는 데 78%의 정확도를 기록함으로써 이전 버전 대비 뚜렷한 향상이 있었음을 입증하였으며, 이는 법적 추론 능력이 점차 향상되고 있음을 시사한다.

ABSTRACT

Artificial Intelligence (AI) is taking on increasingly autonomous roles, e.g., browsing the web as a research assistant and managing money. But specifying goals and restrictions for AI behavior is difficult. Similar to how parties to a legal contract cannot foresee every potential "if-then" contingency of their future relationship, we cannot specify desired AI behavior for all circumstances. Legal standards facilitate robust communication of inherently vague and underspecified goals. Instructions (in the case of language models, "prompts") that employ legal standards will allow AI agents to develop shared understandings of the spirit of a directive that generalize expectations regarding acceptable actions to take in unspecified states of the world. Standards have built-in context that is lacking from other goal specification languages, such as plain language and programming languages. Through an empirical study on thousands of evaluation labels we constructed from U.S. court opinions, we demonstrate that large language models (LLMs) are beginning to exhibit an "understanding" of one of the most relevant legal standards for AI agents: fiduciary obligations. Performance comparisons across models suggest that, as LLMs continue to exhibit improved core capabilities, their legal standards understanding will also continue to improve. OpenAI's latest LLM has 78% accuracy on our data, their previous release has 73% accuracy, and a model from their 2020 GPT-3 paper has 27% accuracy (worse than random). Our research is an initial step toward a framework for evaluating AI understanding of legal standards more broadly, and for conducting reinforcement learning with legal feedback (RLLF).

연구 동기 및 목표

• 엄격한 사양보다 더 강력하고 맥락 인식 능력 있는 AI 목표 소통을 가능하게 하는 법적 기준의 가능성을 탐구하기 위해.
• 대규모 언어 모델이 AI 행동과 관련된 핵심 법적 기준인 신뢰관계 의무를 얼마나 잘 이해하는지 평가하기 위해.
• 단순한 프롬프트 엔지니어링을 초월해 AI 시스템이 법적 기준을 이해하는지를 평가하는 기반을 마련하기 위해.
• 실제 세계의 법적 추론 과제에서 LLM의 성능을 측정함으로써 법적 피드백을 활용한 강화학습(RLLF)의 실현 가능성을 탐색하기 위해.
• LLM 능력 향상이 모호하거나 명시되지 않은 상황에서 특히 강화된 법적 기준 이해와 관련이 있음을 입증하기 위해.

제안 방법

• 미국 법원 판결문에서 유래한 1,000개 이상의 평가 레이블을 수집하여 실제 세계의 신뢰관계 의무 상황을 표현하는 데이터셋을 구축하였다.
• 예를 들어 '주체의 최선의 이익을 위해 행동하라'와 같은 법적 기준을 활용해 지침을 프레임화함으로써 LLM의 해석 능력을 시험할 수 있는 프롬프트를 설계하였다.
• GPT-3(2020), GPT-3.5, GPT-4 등 여러 LLM을 대상으로 신뢰관계 기준에 따라 행동이 준수 또는 비준수로 분류되는 능력을 평가하였다.
• 사법 판결문에서 인간이 레이블링한 참값을 기반으로 LLM의 신뢰관계 의무 해석 정확도를 측정하였다.
• 모델 버전 간 비교 분석을 수행하여 시간이 지남에 따라 법적 추론 능력 향상 여부를 평가하였다.
• 통계적 평가를 적용하여 성능 추세를 분석하였으며, 모델 진화와 함께 정확도가 일관되게 향상됨을 확인하였다.

실험 결과

연구 질문

• RQ1 신뢰관계 의무와 같은 법적 기준이 AI 시스템에 모호하고 고수준의 목표를 전달하는 데 강력한 메커니즘으로 기능할 수 있는가?
• RQ2 대규모 언어 모델이 실제 법원 판결문에서 유래한 신뢰관계 의무를 얼마나 잘 이해하는가?
• RQ3 모델 세대가 진화함에 따라 LLM의 신뢰관계 기준 해석 성능은 어떻게 변화하는가?
• RQ4 법적 피드백이 윤리적 및 법적 기준에 부합하는 AI 행동을 정렬하기 위해 효과적으로 활용될 수 있는가?
• RQ5 프롬프트에 법적 기준을 활용할 경우, 새로운 또는 모호한 상황에서 AI 행동의 일반화 능력이 향상되는가?

주요 결과

• OpenAI의 최신 LLM은 미국 법원 판결문을 바탕으로 행동이 신뢰관계 준수 여부를 78%의 정확도로 분류하였다.
• GPT-3.5(2023)는 73%의 정확도를 기록하였으며, 2020년도 GPT-3 모델의 27%보다 뚜렷한 향상을 보였다—이것은 랜덤 추측 수준 이하였다.
• 초기 모델과 고급 모델 간의 성능 격차는 핵심 모델 능력이 법적 기준 이해에 직접적인 영향을 미친다는 것을 시사한다.
• 이 연구는 LLM이 단순한 패atters 매칭을 넘어서 법적 기준이 요구하는 맥락적이고 규범적인 추론을 내재하기 시작하고 있음을 입증한다.
• 결과적으로 법적 기준은 제약 조건이 명시되지 않은 복잡한 실제 세계 환경에서 AI 행동을 명시하는 실용적인 프레임워크로 기능할 수 있음을 시사한다.
• 관찰된 추세는 법적 피드백을 활용한 강화학습(RLLF)이 더 견고한 AI 정렬을 향한 길로 실현 가능하다는 것을 뒷받침한다.