[논문 리뷰] Prototype-Based Interpretability for Legal Citation Prediction

Chu Fei Luo, Rohan Bhambhoria외 2명|arXiv (Cornell University)|2023. 05. 25.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 선례와 법령 조항을 입력으로 통합하여 변호사의 추론 방식을 모델링하는 프로토타입 기반 설명 가능성 프레임워크를 도입하여 법적 인용 예측(LCP)을 위한 것이다. 수정된 프로토타입 아키텍처를 통해 향상된 설명 가능성과 함께 뛰어난 성능을 달성하였으며, 전문가 피드백과 추상화 연구를 통해 검증되었으며, 이는 고위험 법적 NLP 과제에서 프로토타입 기반 방법을 처음으로 적용한 것이다.

ABSTRACT

Deep learning has made significant progress in the past decade, and demonstrates potential to solve problems with extensive social impact. In high-stakes decision making areas such as law, experts often require interpretability for automatic systems to be utilized in practical settings. In this work, we attempt to address these requirements applied to the important problem of legal citation prediction (LCP). We design the task with parallels to the thought-process of lawyers, i.e., with reference to both precedents and legislative provisions. After initial experimental results, we refine the target citation predictions with the feedback of legal experts. Additionally, we introduce a prototype architecture to add interpretability, achieving strong performance while adhering to decision parameters used by lawyers. Our study builds on and leverages the state-of-the-art language processing models for law, while addressing vital considerations for high-stakes tasks with practical societal impact.

연구 동기 및 목표

• 기존의 법적 인용 예측 모델이 사례 사실에만 의존하여 변호사가 선례와 법령을 어떻게 활용하여 추론하는지 반영하지 못하는 설명 가능성 부족 문제를 해결한다.
• 사례법(선례)과 입법 조항(법령)에서 유래한 추론 기반의 법적 인용 예측을 새로운 작업으로 재정의하여 실무자들의 워크플로우와 더 잘 부합되도록 한다.
• 인용의 대표적 예시를 학습함으로써 사용자가 알려진 법적 근거와의 유사성에 따라 결정을 추적할 수 있도록 하는 프로토타입 기반 딥 러닝 아키텍처를 개발한다.
• 법적 전문가의 피드백을 통합하여 작업 정의를 개선하고 모델의 관련성을 높이며, 고위험 AI 응용 분야에서 다학제적 협업의 가치를 입증한다.
• 정확도를 넘어서 실용적 유용성을 평가하기 위해 입력 변형과 잠재 공간 분석을 통해 모델의 행동을 분석하여 인간의 법적 추론 패턴과의 일치성을 확보한다.

제안 방법

• 법적 문제(사례 사실에서 요약된 내용)와 참고 자료(선례 및 법령)를 입력으로 포함하는 새로운 작업인 법적 인용 예측(LCP)을 정의하여 변호사가 논거를 구성하는 방식을 모방한다.
• 각 인용을 임베딩 공간 내의 프로토타입 벡터로 표현하고, 입력 표현과 프로토타입 간의 코사인 유사도 기반으로 예측을 수행하는 프로토타입 기반 신경망 아키텍처를 구현한다.
• 가중치가 부여된 교차 엔트로피 손실과 프로토타입 대비 손실의 조합을 통해 관련 선례와 법령 조항과의 유사도를 강화함으로써 법적 추론과의 일치를 유도하는 수정된 손실 함수를 도입한다.
• k-평균 클러스터링을 사용해 프로토타입을 초기화하고, 인용 예측 최적화를 위해 정교 조정하면서도 프로토타입의 근접성을 유지함으로써 설명 가능성 유지한다.
• 모델의 강건성과 설명 가능성을 평가하기 위해 입력 변형과 잠재 공간 분석을 적용하여 예측이 법적 맥락 변화에 민감하게 반응하는지 확인한다.
• 전문가가 검증한 인용을 포함한 정제된 데이터셋을 사용하여 모델을 훈련하고 검증하며, 손실이 아닌 검증 매크로 F1 점수를 기준으로 최상의 모델을 선택하여 훈련 중 붕괴를 방지한다.

실험 결과

연구 질문

• RQ1 선례와 법령 조항을 모두 활용하는 변호사의 실제 추론 과정을 반영하기 위해 법적 인용 예측는 어떻게 재정의할 수 있는가?
• RQ2 사례 사실 외에 선례와 법령 조항을 입력으로 포함함으로써 성능과 설명 가능성은 사실 중심 기반 모델 대비 얼마나 향상되는가?
• RQ3 프로토타입 기반 아키텍처는 인간 전문가가 모델 결정을 해석하고 검증할 수 있도록 효과적으로 법적 인용 예측을 모델링할 수 있는가?
• RQ4 전문가 피드백은 고위험 법적 NLP 과제에서 작업 정의 및 모델 성능 향상에 어떻게 기여하는가?
• RQ5 법적 인용 예측에서 성능와 설명 가능성 사이의 상충 관계는 무엇이며, 프로토타입 방법은 실제로 이러한 요소들을 어떻게 균형 잡는가?

주요 결과

• 전문가 피드백을 통합한 제안된 LCP 작업은 사실 중심 기반 모델 대비 예측된 인용의 관련성과 실용적 유용성이 크게 향상됨을 확인하였다.
• 프로토타입 기반 아키텍처는 유사성 기반 추론을 통해 알려진 법적 근거와 연결함으로써 법적 인용 예측에서 뛰어난 성능과 함께 설명 가능성을 확보하였다.
• 입력 변형과 잠재 공간 분석 결과, 모델의 예측이 법적 맥락 변화에 민감하게 반응함을 확인하여 인간의 추론 패턴과의 일치성을 뒷받침하였다.
• 모델은 절차적(더 쉬운) 인용에 대해 성능이 높고 비절차적(더 어려운) 인용에 대해 성능이 낮아, 아직 해결되지 않은 법적 인용 예측의 장꼬리 문제를 드러내었다.
• 불안정한 k-평균 초기화와 손실 함수의 동역학으로 인해 훈련 중 모델 붕괴 현상이 관찰되었으며, 손실이 아닌 매크로 F1 점수를 기준으로 최상의 모델을 선택함으로써 이를 해결하였다.
• 이 시스템은 일반인을 위한 것이 아니라 법적 전문가를 대상으로 설계되었으며, 설명 가능성 덕분에 전문가가 알려진 법적 권위와의 유사성에 기반해 예측를 검토하거나 기각할 수 있다.